محرك البحث في الفيديو الذكاء (AVSE)
محرك بحث فيديو مدعوم بأحدث الأدوات في الذكاء الاصطناعي
لماذا؟
مع صعود محتوى الشكل القصير مع Tiktok و YouTube. هناك الكثير من المعرفة في مقاطع الفيديو أكثر من أي وقت مضى. قد يكون العثور على إجابات محددة ضمن ملايين مقاطع الفيديو أمرًا صعبًا على أي شخص واحد. لذا فإن السؤال هو ما إذا كان هناك Google الذي يفهرس النص على موقع الويب مما يسهل العثور عليه بناءً على سياق سؤالك ، فلماذا لا يوجد Google الذي يفهرس محتوى الفيديو مما يجعل من الأسهل للمستخدمين العثور على إجابات داخلها.
لذلك قمت ببناء هذا لإظهار أنه من الممكن للغاية مع التكنولوجيا والبنية التحتية المتوفرة بسهولة.
مكدس التكنولوجيا
- supbase (postgresql ، pg_vector ، upl)
- Hasura (طبقة GraphQL ، أذونات)
- يطير (استضافة هاسورا)
- Jigsawstack (ملخص AI ، دردشة AI)
- Vercel (استضافة NextJS ، وظائف بدون خادم)
كيف يعمل؟
تخزين مقاطع الفيديو
- يتم استخراج نسخ الفيديو من فيديو يوتيوب
- يتم قطع النسخ إلى جانب الطابع الزمني استنادًا إلى https://huggingface.co/supabase/gte-small حجم البعد
- مخزنة في Postgres DB مع استخدام امتداد PG_Vector وفهرستها
البحث
- البحث في جيب التمام المتجه عبر ديسيبل بناءً على سؤال لإرجاع النتائج المسلحة
- سيقوم كل مقطع فيديو في النتيجة بإجراء بحث آخر للعثور على قطع الفيديو ذات الصلة بالسؤال
- سيتم تعيين القطع مرة أخرى إلى النص الطابع الزمني لتشغيل مقطع الفيديو المسلح للفيديو
ملخص ودردشة
- سيتم إرسال نسخ الفيديو إلى Jigsawstack API لملخص في كل من النقطة والنص
- سيتم إنشاء جلسات الدردشة وإدارتها بواسطة Jigsawstack API ، وسيتم إرسال قطع الفيديو ذات الصلة إلى جلسة الدردشة بناءً على الأسئلة
أشياء يجب ملاحظتها لاستضافتها بنفسك
- ستحتاج إلى حساب Supabase & Fly.io مدفوعًا إذا كنت تخطط لفهرسة الآلاف إلى ملايين مقاطع الفيديو
-
admin/config/fly.toml يتكون من التكوينات اللازمة لنشر Hasura للطيران - تفريغ
admin/migration الذي يمكنك استخدامه لإعادة إنشاء المخطط من خلال Hasura CLI -
hasura init migration --endpoint <hasuraurl.fly.app> --admin-secret <admin_secret> لتحديث مجلد الترحيل في admin - البرنامج النصي
admin/indexChannelVideos.ts لفهرسة عدد كبير من مقاطع الفيديو محليًا مع قنوات YouTube -
.env.example Keys اللازمة للتشغيل إلى المشروع
التعليمات
ألا تفعل هذا؟
- ليس حقًا ، لا يبحث YouTube في الصوت المكتوب للفيديو ، ولكنه يعتمد بدلاً من ذلك على المحتوى المكتوب من جهاز التحميل مثل العنوان والوصف والعلامات. في حين أن جميع المحتوى الصوتي لا يتم دمجه.
كيف ستتعامل هذه المكدس مع ملايين مقاطع الفيديو؟
- يمكن أن تتعامل مع الملايين ولكن ربما ليس مليارات/تريليونات مع هذا الإعداد الحالي. الذي يتطلب المزيد من النسخ المتماثلة والحالات وخاصة $
ماذا بعد؟
- أضف Tiktok كمصدر فيديو
- أضف https://replicate.com/vaibhavs10/incredile-fast-whisper لنسخ الصوت
- تحسين أداء الاستعلام بشكل كبير
- صفحة لعرض جميع الدردشات النشطة
