image to text to speech

توليد النص والصوت من الصور

تطبيق يستخدم نماذج AI Face المعانقة لإنشاء نص من صورة ، والتي تقوم بعد ذلك بإنشاء الصوت من النص.

يستخدم هذا التطبيق ثلاث خطوات لإكمال المهمة المذكورة أعلاه:

• صورة إلى نموذج نصي للسماح للجهاز بفهم السيناريو بناءً على محتوى الصورة
• استخدم LLM لإنشاء قصة قصيرة تستند إلى النص الذي تم إنشاؤه في الخطوة 1
• أخيرًا ، سوف نستخدم نموذج نص إلى الكلام لإنشاء الصوت للقصة من LLM

تصميم النظام

النماذج

• صورة لنموذج النص: NLPCONNECT/VIT-GPT2-DISE-CAPTIONING
• رسالة نصية إلى نموذج القصة: GPT-3.5-TURBO
• قصة نموذج الكلام: اللحاء

متطلبات

python -m pip install -r requirements.txt

تشغيل التطبيق محليا

 source build.sh

قم بتشغيل التطبيق باستخدام Cloud SpreamLit

تشغيل التطبيق

رخصة

موزعة تحت رخصة معهد ماساتشوستس للتكنولوجيا. انظر LICENSE لمزيد من المعلومات.