openai whisper realtime

Openai Whisper Realtime

이것은 Whisper를 사용하여 거의 실시간 전사를 달성하기위한 빠른 실험입니다.

사용 방법

요구 사항 설치 :

 pip install -r requirements.txt

스크립트 실행 :

 python openai-whisper-realtime.py

종속성 :

• 파이썬> 3.7
• 속삭임
• SoundDevice
• Numpy
• 비시오

매우 빠른 CPU 또는 GPU가 권장됩니다.

작동 방식

시스템 기본 오디오 입력은 파이썬으로 캡처되어 작은 청크로 분할 된 다음 OpenAI의 원래 전사 기능으로 공급됩니다. 그것은 단어가 깨지는 것을 감지하려고 시도하고 그 경우 오디오 버퍼를 분할하지 않습니다. 모델이 어떻게 설계되었는지에 따라, 이것을하는 것은 가장 의미가 없지만 시도해 볼 가치가 있음을 알았습니다. 그것은 수용 할 수있는 잘 작동합니다.

TODO :

• 전사 성능을 향상시킵니다
• 단어 중단 또는 일시 중지의 감지를 개선하고 버퍼를 동적으로 분할하십시오.
• 리팩토링
• 깨끗한 stdout