ragtube

Ragtube

Ragtube

Ragtube est un système de traitement vidéo et de questions de question intelligent qui exploite les modèles AI avancés pour transcrire l'audio, analyser le contenu et fournir des réponses perspicaces aux requêtes utilisateur sur le contenu vidéo.

Caractéristiques

• Transcription audio des URL vidéo
• Chunking texte pour un traitement efficace
• Intégration avec des modèles de langage avancé pour répondre aux questions
• Stockage S3 pour les fichiers audio temporaires
• Capacités de téléchargement vidéo YouTube

Comment ça marche

1. Téléchargement vidéo : Le système télécharge l'audio à partir d'une URL vidéo YouTube donnée.
2. Transcription audio : L'audio est transcrit à l'aide d'un modèle de chuchotement rapide.
3. Traitement du texte : la transcription est ouverte en pièces gérables.
4. Vectorisation et stockage : les morceaux sont vectorisés et stockés dans une base de données vectorielle pour une récupération efficace.
5. Réponse des questions : les utilisateurs peuvent poser des questions sur le contenu vidéo. Le système interroge la base de données vectorielle pour récupérer le contexte pertinent et utilise un modèle de langue large (Meta-Llama 3.1) pour générer des réponses en fonction de ce contexte.

Usage

Pour utiliser Ragtube, vous devrez configurer l'environnement et les dépendances nécessaires. Voici un guide de base:

Installation

1. Créez d'abord l'infrastructure en fonctionnant:

    make create-stack
   

2. Définissez les variables d'environnement suivantes dans un fichier local.env dans la racine du projet:

    REPLICATE_API_TOKEN=your_replicate_api_token
   PINECONE_API_KEY=your_pinecone_api_key
   VIDEO_BUCKET=your_s3_bucket_name
   SQS_QUEUE_URL=your_sqs_queue_url
   SQS_QUEUE_ARN=your_sqs_queue_arn
   

   Remplacez les valeurs d'espace réservé par vos informations d'identification et ressources réelles.

3. Installez les packages requis (exigences exactes à spécifier dans un fichier requirements.txt ).

4. Configurez vos informations d'identification AWS pour l'accès S3.

5. Assurez-vous que vous disposez des clés API nécessaires pour les modèles AI utilisés (clé API reproduir).

6. Exécutez l'application en utilisant les commandes de marque suivantes:

   • Pour démarrer le serveur de développement:

      make dev
     

   • Pour exécuter des tests:

      make test
     

   • Pour déployer la demande:

      make deploy
     

   • Pour nettoyer les ressources de déploiement:

      make clean
     

Ces commandes simplifient le processus d'exécution, de test et de déploiement de l'application Ragtube. Assurez-vous que vous avez make sur votre système et que vous êtes dans le répertoire racine du projet lors de l'exécution de ces commandes.

Apis

Pour faire un contrôle de santé

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json" 

Pour ingérer une vidéo

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

Pour poser des questions sur les vidéos ingérées

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'