whisper playground

耳语操场

立即使用更快的旋风，diart和Pyannote以99种语言构建实时Speech2Text应用

通过在线演示尝试

playground.demo.mp4

设置

1. 在您的设备上有Conda和Yarn
2. 克隆或叉这个存储库
3. 安装后端和前端环境sh install_playground.sh
4. 查看config.py，以确保转录设备和计算类型匹配您的设置。查看config.js，以确保其符合后端配置，并且后端地址正确。
5. 运行后端cd backend && python server.py
6. 在不同的终端中，运行React前端cd interface && yarn start

访问Pyannote型号

该存储库使用基于pyannote.audio模型的库，该模型存储在拥抱的脸部中心中。您必须在使用之前接受其使用条款。注意：您需要有一个拥抱的脸部帐户才能使用Pyannote

1. 接受pyannote/segmentation模型的术语
2. 接受pyannote/embedding模型的条款
3. 接受pyannote/speaker-diarization模型的条款
4. 安装HuggingFace -CLI并使用您的用户访问令牌登录（可以在设置 - >访问令牌中找到）

参数

• 型号大小：选择型号大小，从微小到大v2。
• 语言：选择您要说的语言。
• 转录超时：设置应用程序将等待的秒数，然后再转录当前音频数据。
• 梁大小：调整生成和考虑的转录数量，从而影响准确性和转录生成时间。
• 转录方法：选择“实时诊断和转录”的“实时”，或“顺序”，以进行更多上下文的定期转录。

故障排除

• 在MacOS上，如果为安全器构建车轮会失败，请安装Rust brew install rust ，然后重试。

已知错误

1. 在顺序模式下，可能会有不受控制的扬声器交换。
2. 在实时模式下，不符合转录超时的音频数据将不会被转录。

该存储库尚未对所有语言进行测试。如果您遇到任何问题，请创建一个问题。

执照

此存储库以及耳语的代码和模型权重在MIT许可下发布。