หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Openai Whisper Realtime

นี่คือการทดลองอย่างรวดเร็วเพื่อให้ได้การถอดความเกือบเรียลไทม์โดยใช้ Whisper

วิธีใช้

ติดตั้งข้อกำหนด: 

 pip install -r requirements.txt

เรียกใช้สคริปต์: 

 python openai-whisper-realtime.py

การพึ่งพา:

  • Python> 3.7
  • กระซิบ
  • SoundDevice
  • นม
  • asyncio

แนะนำให้ใช้ CPU หรือ GPU ที่รวดเร็วมาก

มันทำงานอย่างไร

อินพุตเสียงเริ่มต้นของระบบจะถูกจับด้วย Python แบ่งออกเป็นชิ้นเล็ก ๆ และถูกป้อนเข้ากับฟังก์ชั่นการถอดความดั้งเดิมของ OpenAI มันพยายาม (ปัจจุบันค่อนข้างไม่ดี) เพื่อตรวจจับการหยุดคำและไม่แบ่งบัฟเฟอร์เสียงในกรณีเหล่านั้น ด้วยวิธีการออกแบบโมเดลมันไม่สมเหตุสมผลที่สุดที่จะทำสิ่งนี้ แต่ฉันพบว่ามันน่าจะคุ้มค่าที่จะลอง มันทำงานได้ดี

สิ่งที่ต้องทำ:

  • ปรับปรุงประสิทธิภาพการถอดความ
  • ปรับปรุงการตรวจจับการแบ่งคำหรือหยุดชั่วคราวแยกบัฟเฟอร์แบบไดนามิก
  • การปรับแต่ง
  • ทำความสะอาด stdout
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด