whisper.unity

竊竊私語

這是Whisper.cpp的Unity3D綁定。它提供了對您本地機器上運行的OpenAI自動語音識別（ASR）模型的高性能推斷。

該存儲庫帶有“ ggml-tiny.bin”模型權重。這是耳語模型的最小，最快的版本，但與其他型號相比，它具有更差的質量。如果您想要更好的質量，請查看其他型號的權重。

主要功能：

• 多語言，支持大約60種語言
• 可以將一種語言翻譯成另一種語言（例如德語演講到英語文本）
• 提供速度和準確性權衡的不同型號尺寸
• 在沒有Internet連接的本地用戶設備上運行
• 免費和開源，可用於商業項目

支持的平台：

• Windows（X86_64，可選CUDA）
• macOS（英特爾和手臂，可選金屬）
• Linux（X86_64，可選CUDA）
• iOS（設備和模擬器）
• Android（ARM64）
• WebGL（請參閱此問題）
• Visionos

樣品

Multilang.mp4

“ hisper-small.bin”模型，用英語，德語和俄語測試的麥克風

Tiny.mp4

“ Whisper-tiny.bin”型號，MACBOOK上的MacBook上的實時速度快50倍

入門

克隆這個存儲庫並將其作為常規統一項目打開。它帶有示例和微小的多語言模型權重。

另外，您可以將此存儲庫添加到您的項目中，作為Unity軟件包。通過此git URL將其添加到您的Unity軟件包管理器：

 https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

CUDA支持

與啟用CUDA編譯的Unity Project希望您的最終用戶擁有NVIDIA GPU和CUDA庫。嘗試無需它的構建將導致錯誤。

要使用CUDA進行推斷，您需要擁有支持的GPU並安裝了CUDA工具包（用12.2.0測試）。

之後，轉到項目設置=> whisper =>啟用cuda 。這應該迫使包裝使用編譯的庫達庫。

金屬支撐

Whisper.cpp僅在Apple7 GPU家族或更新的Apple M1芯片上支持金屬。嘗試運行舊的硬件將退回到CPU推理。

要激活金屬推斷，請轉到項目設置=> hisper =>啟用金屬。這應該迫使包裝使用編譯用於金屬的庫。

下載其他模型權重

您可以嘗試不同的耳語模型。例如，您可以通過使用僅英語權重或嘗試更大的模型來改善英語語言轉錄。

您可以從這裡下載模型權重。只需將它們放入您的StreamingAssets夾中即可。

有關模型差異和格式的更多信息，請閱讀hisper.cpp readme和openai readme。

從源編譯C ++庫

該項目帶有Whisper.cpp的Prebuild庫，用於所有受支持的平台。您可以使用github操作從源頭重建它們。為此，使此存儲庫的叉子構成叉子，然後Actions => Build C++ => Run workflow 。管道完成後，下載文物選項卡中的編譯庫。

如果您想在計算機上構建庫：

1. 克隆原始的耳語。CPP存儲庫
2. 結帳標籤v1.5.5。其他版本可能不適用於這種統一綁定。
3. 打開竊竊私語。帶有命令行
4. 如果您使用的是Windows Write：

. b uild_cpp.bat cpu path t o w hisper

5. 如果您使用的是macos寫：

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

6. 如果您使用的是Linux寫

sh build_cpp_linux.sh path/to/whisper cpu

7. 如果構建是成功編譯的庫，則應自動更新軟件包Plugins文件夾。

Windows將僅生產Windows庫，Linux將僅生產Linux。 MacOS將生產MacOS，iOS和Android庫。

MACOS構建腳本通過ARM處理器在Mac上進行了測試。對於英特爾處理器，您可能需要更改一些參數。

執照

該項目已根據MIT許可獲得許可。

它使用編制的庫和符合MIT許可證的Whisper.cpp的模型稱重。

原始的Openai耳語代碼和權重也符合MIT許可。