whisper playground

ささやき遊び場

より高速なウィスパー、ディアート、およびpyannoteを使用して、99の言語でリアルタイムのSpeech2textアプリをすぐに作成します

オンラインデモで試してみてください

Playground.demo.mp4

設定

1. デバイスにCondaとYarnを用意してください
2. このリポジトリをクローンまたはフォークします
3. バックエンドとフロントエンド環境をインストールしましたsh install_playground.sh
4. config.pyを確認して、転写デバイスと計算タイプがセットアップに一致することを確認します。 config.jsを確認して、バックエンド構成に適合し、バックエンドアドレスが正しいことを確認します。
5. バックエンドcd backend && python server.pyを実行します
6. 別の端末で、React Frontend cd interface && yarn start実行します

Pyannoteモデルへのアクセス

このリポジトリは、ハグのフェイスハブに保存されているpyannote.audioモデルに基づいてライブラリを使用します。使用する前に、使用条件を受け入れる必要があります。注：pyannoteを使用するには、抱きしめるフェイスアカウントが必要です

1. pyannote/segmentationモデルの用語を受け入れます
2. pyannote/embeddingモデルの用語を受け入れます
3. pyannote/speaker-diarizationモデルの用語を受け入れます
4. huggingface -cliをインストールし、ユーザーアクセストークンでログインします（設定 - >アクセストークンにあります）

パラメーター

• モデルサイズ：小さなものから大V2まで、モデルサイズを選択します。
• 言語：話す言語を選択します。
• 転写タイムアウト：現在のオーディオデータを転写する前に、アプリケーションが待機する秒数を設定します。
• ビームサイズ：生成および考慮された転写の数を調整します。これは、精度と転写生成時間に影響します。
• 転写方法：リアルタイムのダイアリゼーションと転写のために「リアルタイム」を選択するか、より多くのコンテキストを備えた定期的な転写の「シーケンシャル」を選択します。

トラブルシューティング

• MacOSでは、セーフテンサーのためにホイールを構築する場合、Rust brew install rustインストールして、再試行してください。

既知のバグ

1. シーケンシャルモードでは、制御されていないスピーカーの交換がある場合があります。
2. リアルタイムモードでは、転写タイムアウトを満たさないオーディオデータは転写されません。

このリポジトリは、すべての言語でテストされていません。問題が発生した場合は、問題を作成してください。

ライセンス

このリポジトリとささやきのコードとモデルの重みは、MITライセンスの下でリリースされます。