openai whisper realtime

Openaiはリアルタイムでささやきます

これは、ささやきを使用してほぼリアルタイムの転写を実現するための簡単な実験です。

使い方

要件をインストールします：

 pip install -r requirements.txt

スクリプトを実行します：

 python openai-whisper-realtime.py

依存関係：

• Python> 3.7
• ささやきます
• sounddevice
• numpy
• Asyncio

非常に高速なCPUまたはGPUが推奨されます。

それがどのように機能するか

システムのデフォルトのオーディオ入力は、Pythonでキャプチャされ、小さなチャンクに分割され、Openaiの元の転写関数に供給されます。 （現在はむしろ貧弱に）単語の破損を検出しようとし、そのような場合にはオーディオバッファーを分割しません。モデルの設計方法により、これを行うのは最も意味がありませんが、試してみる価値があることがわかりました。それは許容できるほどうまく機能します。

TODO：

• 転写性能を向上させます
• 単語の破損または一時停止の検出を改善し、バッファーを動的に分割します
• リファクタリング
• きれいなstdout