whisper.unity

窃窃私语

这是Whisper.cpp的Unity3D绑定。它提供了对您本地机器上运行的OpenAI自动语音识别（ASR）模型的高性能推断。

该存储库带有“ ggml-tiny.bin”模型权重。这是耳语模型中最小，最快的版本，但与其他型号相比，它具有更差的质量。如果您想要更好的质量，请查看其他型号的权重。

主要功能：

• 多语言，支持大约60种语言
• 可以将一种语言翻译成另一种语言（例如德语演讲到英语文本）
• 提供速度和准确性权衡的不同型号尺寸
• 在没有Internet连接的本地用户设备上运行
• 免费和开源，可用于商业项目

支持的平台：

• Windows（X86_64，可选CUDA）
• macOS（英特尔和手臂，可选金属）
• Linux（X86_64，可选CUDA）
• iOS（设备和模拟器）
• Android（ARM64）
• WebGL（请参阅此问题）
• Visionos

样品

Multilang.mp4

“ hisper-small.bin”模型，用英语，德语和俄语测试的麦克风

Tiny.mp4

“ Whisper-tiny.bin”型号，MACBOOK上的MacBook上的实时速度快50倍

入门

克隆这个存储库并将其作为常规统一项目打开。它带有示例和微小的多语言模型权重。

另外，您可以将此存储库添加到您的项目中，作为Unity软件包。通过此git URL将其添加到您的Unity软件包管理器：

 https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

CUDA支持

与启用CUDA编译的Unity Project希望您的最终用户拥有NVIDIA GPU和CUDA库。尝试无需它的构建将导致错误。

要使用CUDA进行推断，您需要拥有支持的GPU并安装了CUDA工具包（用12.2.0测试）。

之后，转到项目设置=> whisper =>启用cuda 。这应该迫使包装使用编译的库达库。

金属支撑

Whisper.cpp仅在Apple7 GPU家族或更新的Apple M1芯片上支持金属。尝试运行旧的硬件将退回到CPU推理。

要激活金属推断，请转到项目设置=> hisper =>启用金属。这应该迫使包装使用编译用于金属的库。

下载其他模型权重

您可以尝试不同的耳语模型。例如，您可以通过使用仅英语权重或尝试更大的模型来改善英语语言转录。

您可以从这里下载模型权重。只需将它们放入您的StreamingAssets夹中即可。

有关模型差异和格式的更多信息，请阅读hisper.cpp readme和openai readme。

从源编译C ++库

该项目带有Whisper.cpp的Prebuild库，用于所有受支持的平台。您可以使用github操作从源头重建它们。为此，使此存储库的叉子构成叉子，然后Actions => Build C++ => Run workflow 。管道完成后，下载文物选项卡中的编译库。

如果您想在计算机上构建库：

1. 克隆原始的耳语。CPP存储库
2. 结帐标签v1.5.5。其他版本可能不适用于这种统一绑定。
3. 打开窃窃私语。带有命令行
4. 如果您使用的是Windows Write：

. b uild_cpp.bat cpu path t o w hisper

5. 如果您使用的是macos写：

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

6. 如果您使用的是Linux写

sh build_cpp_linux.sh path/to/whisper cpu

7. 如果构建是成功编译的库，则应自动更新软件包Plugins文件夹。

Windows将仅生产Windows库，Linux将仅生产Linux。 MacOS将生产MacOS，iOS和Android库。

MACOS构建脚本通过ARM处理器在Mac上进行了测试。对于英特尔处理器，您可能需要更改一些参数。

执照

该项目已根据MIT许可获得许可。

它使用编制的库和符合MIT许可证的Whisper.cpp的模型称重。

原始的Openai耳语代码和权重也符合MIT许可。