Whatsapp_speech_to_text

คำพูด Whatsapp เป็นข้อความ

นี่คือแอปพลิเคชันคำพูดเป็นข้อความสำหรับ whatsapp ที่ใช้ Whisper และ Whatsapp-web.js ทำงานบน Docker

คำอธิบาย

เมื่อตรวจสอบความถูกต้องบนเว็บ WhatsApp ผู้ปฏิบัติงานจะถอดความข้อความเสียงทั้งหมดที่คุณตอบกลับด้วยคำสั่ง! tran โดยใช้ Whisper ปัจจุบันมีการกำหนดค่าให้ถอดความข้อความจากผู้ติดต่อที่บันทึกไว้ในสมุดติดต่อของคุณเท่านั้น

เดิมโปรแกรมใช้ Google Cloud Speech แต่ตอนนี้ใช้ Whisper ซึ่งเป็นเครื่องมือจดจำคำพูดที่มีน้ำหนักเบาและโอเพนซอร์ซ

หากคุณไม่ต้องการโฮสต์โมเดลโดยตรงบนคอมพิวเตอร์ของคุณคุณสามารถใช้สาขา Main_openai_api ซึ่งใช้ OpenAI API เพื่อถอดเสียงเสียง

หากคุณต้องการมีส่วนร่วมเพียงส่งคำขอดึง

การใช้งาน

เพียงตอบกลับข้อความเสียงที่คุณต้องการถอดความด้วย ! Tran

เรียกใช้เซิร์ฟเวอร์

• ในการสร้างบิลด์ที่ docker-compose build
• ในการเรียกใช้คอนเทนเนอร์รัน docker-compose up (อย่าแยกออก QR จะแสดงในเทอร์มินัล)

การกำหนดค่า

• ในการเลือกโมเดลที่คุณต้องการใช้แก้ไขตัวแปรที่เรียกว่า model_version ภายใต้ X-shared-variables ภายในไฟล์ Docker-compose.yml รุ่นเริ่มต้น: เล็ก
• ในการกำหนดค่าพา ธ และที่อยู่ API จะแก้ไขตัวแปรสภาพแวดล้อมภายในไฟล์ docker-compose.yml ค่าเริ่มต้นคือ:
  • host_address = Whisper_api
  • chrome_data_path = "/app/data/"
• หากคุณต้องการใช้รหัสนอก Docker คุณจะต้องแก้ไขตัวแปร Env ในไฟล์ index.js เพื่อชี้ไปที่ที่อยู่ API ของคุณ
• หากคุณใช้ GPU เพิ่มและแก้ไขตามความต้องการของคุณรหัสต่อไปนี้ในคอนเทนเนอร์ Whisper_api

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• การแก้ไขตัวแปร responseMsgHeader และ responseMsgHeaderError ภายใน Node/Index.js คุณสามารถตั้งค่าส่วนหัวข้อความสำหรับการตอบกลับอัตโนมัติ

สิ่งที่ต้องทำ

• ถอดความเฉพาะเมื่อเสียงตอบด้วย "! tran"
• ส่ง "! tran" จากการแชทของฉันและถอดเสียง สำหรับตอนนี้ข้อความที่ส่งโดยผู้ติดต่อเท่านั้นที่จะถูกถอดความ
• บันทึกรุ่นในพื้นที่
• อาจใช้ https://github.com/ahmetoner/whisper-asr-webservice เป็น API
• เพิ่มไฟล์สภาพแวดล้อม

ข้อบกพร่อง

• สำหรับตอนนี้ไฟล์ที่เก่ากว่าเซสชันไม่สามารถดึงข้อมูลได้ การแก้ปัญหาอาจเป็นการดึงไฟล์ด้วยฟังก์ชั่นบางอย่างและแคช
  • อัปเดต: เนื่องจากการไร้ความสามารถของไลบรารี whatsapp-web.js เพื่อดึงข้อความด้วย id ข้อผิดพลาดนี้ไม่สามารถแก้ไขได้ในตอนนี้ อาจมีทางออกอื่น แต่ฉันไม่เห็น
    • อัปเดต 2: ข้อบกพร่องได้รับการแก้ไขโดยใช้ฟังก์ชัน fetchMessages() จาก whatsapp-web.js ฟังก์ชั่นที่จัดการสิ่งนี้เรียกว่า downloadQuotedMedia()