ragtube

Ragtube

Ragtube

RagTube adalah sistem pemrosesan video yang cerdas dan sistem imbalan yang memanfaatkan model AI canggih untuk mentranskripsi audio, menganalisis konten, dan memberikan jawaban yang mendalam untuk pertanyaan pengguna tentang konten video.

Fitur

• Transkripsi audio dari URL video
• Teks chunking untuk pemrosesan yang efisien
• Integrasi dengan model bahasa canggih untuk menjawab pertanyaan
• Penyimpanan S3 untuk file audio sementara
• Kemampuan Pengunduhan Video YouTube

Cara kerjanya

1. Unduh Video : Sistem mengunduh audio dari URL video YouTube yang diberikan.
2. Transkripsi audio : Audio ditranskripsikan menggunakan model bisikan cepat.
3. Pemrosesan Teks : Transkripsi dipotong menjadi potongan -potongan yang dapat dikelola.
4. Vektorisasi dan Penyimpanan : Potongan -potongan di vektor dan disimpan dalam database vektor untuk pengambilan yang efisien.
5. PERTANYAAN PERTANYAAN : Pengguna dapat mengajukan pertanyaan tentang konten video. Sistem ini menanyakan database vektor untuk mengambil konteks yang relevan dan menggunakan model bahasa yang besar (Meta-llama 3.1) untuk menghasilkan jawaban berdasarkan konteks ini.

Penggunaan

Untuk menggunakan RagTube, Anda harus mengatur lingkungan dan dependensi yang diperlukan. Inilah panduan dasar:

Pengaturan

1. Buat infrastruktur terlebih dahulu dengan menjalankan:

    make create-stack
   

2. Atur variabel lingkungan berikut dalam file local.env di root proyek:

    REPLICATE_API_TOKEN=your_replicate_api_token
   PINECONE_API_KEY=your_pinecone_api_key
   VIDEO_BUCKET=your_s3_bucket_name
   SQS_QUEUE_URL=your_sqs_queue_url
   SQS_QUEUE_ARN=your_sqs_queue_arn
   

   Ganti nilai placeholder dengan kredensial dan sumber daya Anda yang sebenarnya.

3. Instal paket yang diperlukan (persyaratan yang tepat untuk ditentukan dalam file requirements.txt ).

4. Siapkan kredensial AWS Anda untuk akses S3.

5. Pastikan Anda memiliki kunci API yang diperlukan untuk model AI yang digunakan (kunci API Replikasi).

6. Jalankan aplikasi menggunakan perintah Make berikut:

   • Untuk memulai server pengembangan:

      make dev
     

   • Untuk menjalankan tes:

      make test
     

   • Untuk menggunakan aplikasi:

      make deploy
     

   • Untuk membersihkan sumber daya penempatan:

      make clean
     

Perintah -perintah ini menyederhanakan proses menjalankan, menguji, dan menggunakan aplikasi RagTube. Pastikan Anda telah make pada sistem Anda dan bahwa Anda berada di direktori root proyek saat menjalankan perintah ini.

Lebah

Untuk melakukan pemeriksaan kesehatan

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json" 

Untuk menelan video

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

Untuk mengajukan pertanyaan tentang video yang dicerna

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'