الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

ragtube

ragtube

Ragtube هو نظام ذكي معالجة الفيديو وإسقاط الأسئلة الذي يستفيد من نماذج الذكاء الاصطناعى المتقدمة لنسخ الصوت وتحليل المحتوى وتقديم إجابات ثاقبة لاستفسارات المستخدم حول محتوى الفيديو.

سمات

  • النسخ الصوتي من عناوين URL
  • صخب النص للمعالجة الفعالة
  • التكامل مع نماذج اللغة المتقدمة للإجابة على الأسئلة
  • تخزين S3 لملفات الصوت المؤقتة
  • YouTube فيديو تنزيل القدرات

كيف تعمل

  1. تنزيل الفيديو : يقوم النظام بتنزيل الصوت من عنوان URL لفيديو YouTube.
  2. النسخ الصوتي : يتم نسخ الصوت باستخدام نموذج همس سريع.
  3. معالجة النص : يتم قطع النسخ إلى قطع يمكن التحكم فيها.
  4. التقييم والتخزين : يتم تخصيص القطع وتخزينها في قاعدة بيانات متجه لاسترجاع فعال.
  5. إجابة الأسئلة : يمكن للمستخدمين طرح أسئلة حول محتوى الفيديو. يستفسر النظام من قاعدة بيانات المتجه لاسترداد السياق ذي الصلة ويستخدم نموذج لغة كبير (Meta-Llama 3.1) لإنشاء إجابات بناءً على هذا السياق.

الاستخدام

لاستخدام Ragtube ، ستحتاج إلى إعداد البيئة والتبعيات اللازمة. هذا دليل أساسي:

يثبت

  1. قم بإنشاء البنية التحتية أولاً عن طريق التشغيل: 

     make create-stack

  2. قم بتعيين متغيرات البيئة التالية في ملف local.env في جذر المشروع: 

     REPLICATE_API_TOKEN=your_replicate_api_token
PINECONE_API_KEY=your_pinecone_api_key
VIDEO_BUCKET=your_s3_bucket_name
SQS_QUEUE_URL=your_sqs_queue_url
SQS_QUEUE_ARN=your_sqs_queue_arn

    استبدل قيم العنصر النائب ببيانات اعتمادك ومواردك الفعلية.

  3. قم بتثبيت الحزم المطلوبة (المتطلبات الدقيقة المراد تحديدها في ملف requirements.txt ).

  4. قم بإعداد بيانات اعتماد AWS الخاصة بك للوصول إلى S3.

  5. تأكد من أن لديك مفاتيح API اللازمة لنماذج الذكاء الاصطناعى المستخدمة (مفتاح API المتكرر).

  6. قم بتشغيل التطبيق باستخدام الأوامر التالية:

    • لبدء خادم التطوير: 

       make dev

    • لتشغيل الاختبارات: 

       make test

    • لنشر التطبيق: 

       make deploy

    • لتنظيف موارد النشر: 

       make clean

تقوم هذه الأوامر بتبسيط عملية تشغيل واختبار ونشر تطبيق Ragtube. تأكد من make نظامك على نظامك وأنك في دليل الجذر للمشروع عند تشغيل هذه الأوامر.

واجهات برمجة التطبيقات

للقيام بفحص صحي 

 curl -X POST --location "https://<hostname>/<stage>/ping" 
    -H "Content-Type: application/json"

لتلوين فيديو 

 curl -X POST --location "https://<hostname>/<stage>/ingest-video" 
    -H "Content-Type: application/json" 
    -d '{"url": "https://www.youtube.com/watch?v=9GumiLIxLMM"}'

لطرح أسئلة حول مقاطع الفيديو التي تم تناولها 

 curl -X POST --location "https://<hostname>/<stage>/ask" 
    -H "Content-Type: application/json" 
    -d '{"question": "Why does the weight of the world rests squarely on the shoulders of Ben & Jerry’s?"}'
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل