ragtube

Ragtube

Ragtube

Ragtube ist ein intelligentes System zur Verarbeitung von Video- und Fragen, mit denen erweiterte KI-Modelle zur Transkribieren Sie Audio, Analyse von Inhalten und aufschlussreiche Antworten auf Benutzeranfragen zu Videoinhalten.

Merkmale

• Audio -Transkription aus Video -URLs
• Textchunking für eine effiziente Verarbeitung
• Integration mit erweiterten Sprachmodellen zur Beantwortung der Frage
• S3 Speicher für temporäre Audiodateien
• YouTube -Video -Download -Funktionen

Wie es funktioniert

1. Video -Download : Das System lädt das Audio von einer bestimmten YouTube -Video -URL herunter.
2. Audio -Transkription : Das Audio wird mit einem schnellen Flüstermodell transkribiert.
3. Textverarbeitung : Die Transkription wird in überschaubare Stücke begleitet.
4. Vektorisation und Speicher : Die Stücke werden vektorisiert und in einer Vektordatenbank zum effizienten Abrufen gespeichert.
5. Beantwortung von Frage : Benutzer können Fragen zum Videoinhalt stellen. Das System fragt die Vektordatenbank ab, um den relevanten Kontext abzurufen, und verwendet ein großes Sprachmodell (Meta-Llama 3.1), um Antworten basierend auf diesem Kontext zu generieren.

Verwendung

Um Ragtube zu verwenden, müssen Sie die erforderliche Umgebung und Abhängigkeiten einrichten. Hier ist ein Grundleitfaden:

Aufstellen

1. Erstellen Sie zuerst die Infrastruktur, indem Sie ausführen:

    make create-stack
   

2. Legen Sie die folgenden Umgebungsvariablen in einer local.env -Datei in der Projektstamme fest:

    REPLICATE_API_TOKEN=your_replicate_api_token
   PINECONE_API_KEY=your_pinecone_api_key
   VIDEO_BUCKET=your_s3_bucket_name
   SQS_QUEUE_URL=your_sqs_queue_url
   SQS_QUEUE_ARN=your_sqs_queue_arn
   

   Ersetzen Sie die Platzhalterwerte durch Ihre tatsächlichen Anmeldeinformationen und Ressourcen.

3. Installieren Sie die erforderlichen Pakete (genaue Anforderungen, die in einer requirements.txt angegeben werden können.txt -Datei).

4. Richten Sie Ihre AWS -Anmeldeinformationen für S3 -Zugriff ein.

5. Stellen Sie sicher, dass Sie über die erforderlichen API -Schlüssel für die verwendeten KI -Modelle verfügen (API -Taste replizieren).

6. Führen Sie die Anwendung mit den folgenden Befehlen aus:

   • So starten Sie den Entwicklungsserver:

      make dev
     

   • Tests ausführen:

      make test
     

   • So bereitstellen Sie die Anwendung:

      make deploy
     

   • Bereitstellung von Bereitstellungsressourcen:

      make clean
     

Diese Befehle vereinfachen den Prozess des Ausführens, Testens und Bereitstellens der Ragtube -Anwendung. Stellen Sie sicher, dass Sie in Ihrem System make sind und sich beim Ausführen dieser Befehle im Root -Verzeichnis des Projekts befinden.

Apis

Eine Gesundheitsprüfung durchführen

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json" 

Ein Video aufnehmen

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

Fragen zu aufgenommenen Videos stellen

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'