ragtube

Punta de trapo

Punta de trapo

RagTube es un sistema inteligente de procesamiento de videos y preguntas de respuesta que aprovecha los modelos AI avanzados para transcribir audio, analizar contenido y proporcionar respuestas perspicaces a las consultas de los usuarios sobre el contenido de video.

Características

• Transcripción de audio de URL de video
• Following de texto para un procesamiento eficiente
• Integración con modelos de lenguaje avanzado para responder preguntas
• Almacenamiento S3 para archivos de audio temporales
• Capacidades de descarga de video de YouTube

Cómo funciona

1. Descarga de video : el sistema descarga el audio de una URL de video de YouTube dada.
2. Transcripción de audio : el audio se transcribe utilizando un modelo de susurro rápido.
3. Procesamiento de texto : la transcripción se fragmenta en piezas manejables.
4. Vectorización y almacenamiento : los fragmentos se vectorizan y almacenan en una base de datos vectorial para una recuperación eficiente.
5. Respuesta de preguntas : los usuarios pueden hacer preguntas sobre el contenido de video. El sistema consulta la base de datos Vector para recuperar un contexto relevante y utiliza un modelo de lenguaje grande (Meta-Llama 3.1) para generar respuestas basadas en este contexto.

Uso

Para usar RagTube, deberá configurar el entorno y las dependencias necesarias. Aquí hay una guía básica:

Configuración

1. Crea la infraestructura primero ejecutando:

    make create-stack
   

2. Establezca las siguientes variables de entorno en un archivo local.env en la raíz del proyecto:

    REPLICATE_API_TOKEN=your_replicate_api_token
   PINECONE_API_KEY=your_pinecone_api_key
   VIDEO_BUCKET=your_s3_bucket_name
   SQS_QUEUE_URL=your_sqs_queue_url
   SQS_QUEUE_ARN=your_sqs_queue_arn
   

   Reemplace los valores del marcador de posición con sus credenciales y recursos reales.

3. Instale los paquetes requeridos (requisitos exactos que se especificarán en un archivo requirements.txt ).

4. Configure sus credenciales de AWS para el acceso S3.

5. Asegúrese de tener las teclas API necesarias para los modelos AI utilizados (tecla API replicada).

6. Ejecute la aplicación usando los siguientes comandos de fabricación:

   • Para iniciar el servidor de desarrollo:

      make dev
     

   • Para ejecutar pruebas:

      make test
     

   • Para implementar la aplicación:

      make deploy
     

   • Para limpiar los recursos de implementación:

      make clean
     

Estos comandos simplifican el proceso de ejecutar, probar e implementar la aplicación RagTube. Asegúrese de haber make en su sistema y de que está en el directorio raíz del proyecto al ejecutar estos comandos.

API

Para hacer un control de salud

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json" 

Para ingerir un video

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

Hacer preguntas sobre videos ingeridos

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'