whisper.unity
1.3.2
Esta é a unidade 3D ligações para o sussurro.cpp. Ele fornece inferência de alto desempenho do modelo de reconhecimento automático de fala Whisper (ASR) da OpenAI em execução em sua máquina local.
Este repositório vem com pesos do modelo "ggml tiny.bin". Esta é a versão menor e mais rápida do modelo Whisper, mas tem uma qualidade pior em comparação com outros modelos. Se você deseja melhor qualidade, confira outros modelos pesos.
Principais recursos:
Plataformas suportadas:
Modelo "Whisper-small.bin" testado em inglês, alemão e russo do microfone
Modelo "Whisper Tiny.bin", 50x mais rápido que em tempo real no MacBook com M1 Pro
Clone este repositório e abra -o como projeto regular de unidade. Ele vem com exemplos e pequenos pesos do modelo multilanguage.
Como alternativa, você pode adicionar este repositório ao seu projeto como um pacote de unidade . Adicione -o por este URL Git ao seu gerenciador de pacotes da Unity:
https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity
O Unity Project compilado com a CUDA habilitada espera que seus usuários finais tenham bibliotecas Nvidia GPU e CUDA. Tentar executar o Build sem ele resultará em erro.
Para executar a inferência no CUDA, você precisaria ter suportado a GPU e instalado o CUDA Toolkit (testado com 12.2.0).
Depois disso, vá para as configurações do projeto => sussurro => Ativar CUDA . Isso deve forçar o pacote a usar a biblioteca compilada para CUDA.
Whisper.cpp suporta metal apenas na família Apple7 GPUs ou mais recente (começando pela Apple M1 Chips). Tentar correr com hardware mais antigo fará o fallback da inferência da CPU.
Para ativar a inferência de metal, vá para as configurações do projeto => sussurro => Ativar metal . Isso deve forçar o pacote a usar a biblioteca compilada para metal.
Você pode tentar diferentes pesos do modelo de sussurro. Por exemplo, você pode melhorar a transcrição do idioma inglês usando pesos somente em inglês ou tentando modelos maiores.
Você pode baixar os pesos do modelo aqui. Basta colocá -los na pasta StreamingAssets .
Para obter mais informações sobre as diferenças e formatos de modelos, leia o sussurro.cpp readme e o OpenAI ReadMe.
Este projeto vem com bibliotecas pré -construtivas do sussurro.cpp para todas as plataformas suportadas. Você pode reconstruí -los da fonte usando ações do GitHub. Para fazer isso, faça o garfo deste repositório e entre em Actions => Build C++ => Run workflow . Após a conclusão do pipeline, faça o download das bibliotecas compiladas na guia Artefatos.
Caso você queira construir bibliotecas em sua máquina:
. b uild_cpp.bat cpu path t o w hispersh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmakesh build_cpp_linux.sh path/to/whisper cpuPlugins de pacotes.O Windows produzirá apenas a biblioteca do Windows, o Linux produzirá apenas o Linux. MacOS produzirá bibliotecas MacOS, iOS e Android.
O script de construção do MACOS foi testado no Mac com o processador ARM. Para processadores Intel, você pode precisar alterar alguns parâmetros.
Este projeto está licenciado sob a licença do MIT.
Ele usa bibliotecas compiladas e o modelo pesa de sussurro.cpp, que está sob licença do MIT.
O código e os pesos do OpenAi Whisper originais também estão sob licença do MIT.
