ragtube

Ragtube

Ragtube

O RagTube é um sistema inteligente de processamento de vídeo e resposta a perguntas que aproveita os modelos avançados de IA para transcrever áudio, analisar conteúdo e fornecer respostas perspicazes para consultas de usuários sobre o conteúdo de vídeo.

Características

• Transcrição de áudio de URLs de vídeo
• Chunking de texto para processamento eficiente
• Integração com modelos avançados de linguagem para resposta a perguntas
• Armazenamento S3 para arquivos de áudio temporários
• Recursos de download de vídeo do YouTube

Como funciona

1. Download de vídeo : o sistema baixa o áudio de um URL de vídeo do YouTube.
2. Transcrição de áudio : o áudio é transcrito usando um modelo de sussurro rápido.
3. Processamento de texto : A transcrição é dividida em peças gerenciáveis.
4. Vectorização e armazenamento : os pedaços são vetorizados e armazenados em um banco de dados vetorial para recuperação eficiente.
5. Resposta à pergunta : os usuários podem fazer perguntas sobre o conteúdo do vídeo. O sistema consulta o banco de dados vetorial para recuperar o contexto relevante e usa um modelo de linguagem grande (Meta-llama 3.1) para gerar respostas com base nesse contexto.

Uso

Para usar o RagTube, você precisará configurar o ambiente e as dependências necessários. Aqui está um guia básico:

Configurar

1. Crie a infraestrutura primeiro executando:

    make create-stack
   

2. Defina as seguintes variáveis ​​de ambiente em um arquivo local.env na raiz do projeto:

    REPLICATE_API_TOKEN=your_replicate_api_token
   PINECONE_API_KEY=your_pinecone_api_key
   VIDEO_BUCKET=your_s3_bucket_name
   SQS_QUEUE_URL=your_sqs_queue_url
   SQS_QUEUE_ARN=your_sqs_queue_arn
   

   Substitua os valores de espaço reservado por suas credenciais e recursos reais.

3. Instale os pacotes necessários (requisitos exatos a serem especificados em um arquivo requirements.txt ).

4. Configure suas credenciais da AWS para acesso S3.

5. Certifique -se de ter as teclas de API necessárias para os modelos de IA utilizados (chave da API replicada).

6. Execute o aplicativo usando os seguintes comandos Make:

   • Para iniciar o servidor de desenvolvimento:

      make dev
     

   • Para executar testes:

      make test
     

   • Para implantar o aplicativo:

      make deploy
     

   • Para limpar os recursos de implantação:

      make clean
     

Esses comandos simplificam o processo de execução, teste e implantação do aplicativo Ragtube. Certifique -se de make instalar no seu sistema e se estiver no diretório raiz do projeto ao executar esses comandos.

APIs

Para fazer uma verificação de saúde

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json" 

Para ingerir um vídeo

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

Para fazer perguntas sobre vídeos ingeridos

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'