RasaChatbot with ASR and TTS

Rasachatbot مع ASR و TTS

يحتوي هذا المستودع على محاولة لدمج RASA chatbot مع نماذج ASR (التعرف على الكلام التلقائي) ونماذج TTS (نص إلى كلام) مباشرة دون الحاجة إلى تشغيل خوادم إضافية أو توصيلات المقبس.

توافق المتصفح

في هذا المشروع ، يعد المتصفح جزءًا كبيرًا لأنه يوفر الوصول إلى أجهزة إدخال الوسائط المتصلة مثل الميكروفونات. لذلك ، اضطررت إلى استخدام واجهة مدعومة متوافقة مع جميع المتصفحات الرئيسية حتى مع الإصدارات القديمة. لهذا السبب استخدمت واجهة AudioContext() . لم أستخدم واجهات أخرى مثل MediaRecorder لأنه غير متوافق مع Microsoft Edge أو Safari. أيضًا ، لم أستخدم أي مكونات إضافية مثل recorderJs لأنه لم يعد مدعومًا بعد الآن.

فيما يلي جدول لأقل نسخة مقبولة من كل متصفح رئيسي في السوق:

سطح المكتب							متحرك
	الكروم	حافة	Firefox	Internet Explorer	الأوبرا	سفاري	Android WebView	Chrome لنظام Android	Firefox لنظام Android	أوبرا لنظام Android	سفاري على iOS	الإنترنت Samsung
يدعم	✔	✔	✔		✔	✔	✔	✔	✔	✔	✔	✔
أقل نسخة مقبولة	35	الدعم الكامل	25	لا دعم	22	6	الدعم الكامل	35	26	22	الدعم الكامل	الدعم الكامل

مشاكل

• لا تعمل هذه الواجهة على Internet Explorer ، وأحتاج إلى التحقق من حالتها مع Edge .
• تواجه واجهة TTS مشكلة عندما تستجيب Rasa بأكثر من رسالة text واحدة ... إنها تتعامل مع استجابات متعددة تمامًا طالما أن لديها رسالة text واحدة. إذا استجابت RASA بأكثر من رسالة text واحدة ، فسيتم تشغيل جميع الرسائل text في نفس الوقت.

شكر وتقدير

شكر خاص ل:

• شون نارين لتدريب نموذج ASR المقدم.
• منظمة ESPNET للتدريب جميع نماذج TTS.
• Samimonline لتوفير قالب bootstrap المبكر
• باتريك روبرتس للمكون الإضافي Synth-JS JavaScript.
• Remon Kamal للمساعدة التقنية خلال هذا المشروع ... كانت إرشاده في المساعدة !!