RasaChatbot with ASR and TTS

Rasachatbot กับ ASR และ TTS

พื้นที่เก็บข้อมูลนี้มีความพยายามที่จะรวม Rasa chatbot เข้ากับ ASR ที่ล้ำสมัย (การจดจำคำพูดอัตโนมัติ) และรุ่น TTS (text-to-speech) โดยตรงโดยไม่จำเป็นต้องใช้เซิร์ฟเวอร์หรือการเชื่อมต่อซ็อกเก็ตเพิ่มเติม

ความเข้ากันได้ของเบราว์เซอร์

ในโครงการนี้เบราว์เซอร์เป็นส่วนสำคัญเนื่องจากให้การเข้าถึงอุปกรณ์อินพุตสื่อที่เชื่อมต่อเช่นไมโครโฟน ดังนั้นฉันต้องใช้อินเทอร์เฟซที่รองรับซึ่งเข้ากันได้กับเบราว์เซอร์กระแสหลักทั้งหมดแม้จะมีรุ่นเก่ากว่า นั่นเป็นเหตุผลที่ฉันใช้อินเทอร์เฟซ AudioContext() ฉันไม่ได้ใช้อินเทอร์เฟซอื่น ๆ เช่น MediaRecorder เพราะมันเข้ากันไม่ได้กับ Microsoft Edge หรือ Safari นอกจากนี้ฉันไม่ได้ใช้ปลั๊กอินอื่น ๆ เช่น recorderJs เนื่องจากไม่รองรับอีกต่อไป

นี่คือตารางของรุ่นที่ยอมรับน้อยที่สุดของแต่ละเบราว์เซอร์กระแสหลักออกในตลาด:

เดสก์ท็อป							มือถือ
	โครเมี่ยม	ขอบ	Firefox	Internet Explorer	โอเปร่า	ซาฟารี	Android WebView	โครเมี่ยมสำหรับ Android	Firefox สำหรับ Android	โอเปร่าสำหรับ Android	Safari บน iOS	Samsung Internet
สนับสนุน
เวอร์ชันที่ยอมรับได้น้อยที่สุด	35	การสนับสนุนอย่างเต็มที่	25	ไม่มีการสนับสนุน	22	6	การสนับสนุนอย่างเต็มที่	35	26	22	การสนับสนุนอย่างเต็มที่	การสนับสนุนอย่างเต็มที่

ปัญหา

• อินเทอร์เฟซนี้ใช้งานไม่ได้กับ Internet Explorer และฉันต้องตรวจสอบสถานะด้วย Edge
• อินเทอร์เฟซ TTS มีปัญหาเมื่อใดก็ตามที่ RASA ตอบกลับด้วยข้อความมากกว่าหนึ่ง text ... มันจัดการการตอบกลับหลายครั้งอย่างสมบูรณ์แบบตราบใดที่มี text เดียว หาก Rasa ตอบกลับด้วย text มากกว่าหนึ่งข้อความ text ทั้งหมดจะถูกเล่นในเวลาเดียวกัน

กิตติกรรมประกาศ

ขอขอบคุณเป็นพิเศษ:

• Sean Naren สำหรับการฝึกอบรมแบบจำลอง ASR ที่ให้ไว้
• องค์กร ESPNET สำหรับการฝึกอบรมทุกรูปแบบ TTS
• Samimonline สำหรับการจัดหาเทมเพลต bootstrap ต้น ๆ
• Patrick Roberts สำหรับปลั๊กอิน Synth-JS JavaScript
• Remon Kamal สำหรับความช่วยเหลือด้านเทคนิคในระหว่างโครงการนี้ ... คำแนะนำของเขาอยู่ที่ความช่วยเหลือ !!