whisper.unity

susurros.

Esto es unit3d Bindings para Whisper.cpp. Proporciona una inferencia de alto rendimiento del modelo de reconocimiento automático de voz (ASR) de Openai's Whisper que se ejecuta en su máquina local.

Este repositorio viene con pesos del modelo "GGML-Tiny.Bin". Esta es la versión más pequeña y más rápida de Whisper Model, pero tiene una calidad peor en comparación con otros modelos. Si desea una mejor calidad, consulte los pesos de otros modelos.

Características principales:

• Multilingüe, admite alrededor de 60 idiomas
• Puede traducir un idioma a otro (por ejemplo, el discurso alemán al texto en inglés)
• Diferentes tamaños de modelos que ofrecen velocidad y compensaciones de precisión
• Se ejecuta en el dispositivo de usuarios locales sin conexión a Internet
• Código libre y abierto, se puede utilizar en proyectos comerciales

Plataformas compatibles:

• Windows (x86_64, CUDA opcional)
• MacOS (Intel y brazo, metal opcional)
• Linux (x86_64, CUDA opcional)
• iOS (dispositivo y simulador)
• Android (ARM64)
• WebGL (ver este problema)
• Visos

Muestras

multilang.mp4

modelo "whisper-small.bin" probado en inglés, alemán y ruso a partir de micrófono

Tiny.mp4

Modelo "Whisper-Tiny.bin", 50x más rápido que el tiempo real en MacBook con M1 Pro

Empezando

Clone este repositorio y ábralo como proyecto de unidad regular. Viene con ejemplos y pequeños pesos de modelos multilenguajos.

Alternativamente, puede agregar este repositorio a su proyecto como un paquete de unidad . Agrégalo por esta URL Git a su administrador de paquetes de Unity:

 https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

Soporte CUDA

Unity Project compilado con CUDA habilitado espera que sus usuarios finales tengan bibliotecas NVIDIA GPU y CUDA. Intentar ejecutar la compilación sin ella dará como resultado un error.

Para ejecutar una inferencia con CUDA, necesitaría haber admitido GPU e instalado CUDA Toolkit (probado con 12.2.0).

Después de eso, vaya a la configuración del proyecto => Whisper => Habilitar CUDA . Esto debería obligar al paquete a usar la biblioteca compilada para CUDA.

Soporte de metal

Whisper.cpp admite metal solo en la familia Apple7 GPUS o más nuevo (a partir de los chips de Apple M1). Intentar ejecutar en hardware más antiguo se retirará a la inferencia de la CPU.

Para activar la inferencia de metal, vaya a la configuración del proyecto => whisper => habilitar metal . Esto debería obligar al paquete a usar la biblioteca compilada para metal.

Descargar otros pesos de modelo

Puedes probar diferentes pesos de modelos de susurro. Por ejemplo, puede mejorar la transcripción del idioma inglés utilizando pesas solo en inglés o probando modelos más grandes.

Puede descargar pesos de modelos desde aquí. Simplemente colóquelos en su carpeta StreamingAssets .

Para obtener más información sobre las diferencias y formatos de modelos, lea Whisper.cpp Readme y OpenAi Readme.

Compilación de bibliotecas de C ++ desde la fuente

Este proyecto viene con bibliotecas previas a la construcción de Whisper.cpp para todas las plataformas compatibles. Puede reconstruirlos de la fuente utilizando acciones de GitHub. Para hacer eso, haga el choque de este repositorio y ingrese a Actions => Build C++ => Run workflow . Después de completarse la tubería, descargue las bibliotecas compiladas en la pestaña Artifacts.

En caso de que desee construir bibliotecas en su máquina:

1. Clon el repositorio original Whisper.cpp
2. Etiqueta de verificación V1.5.5. Es posible que otras versiones no funcionen con estos enlaces de unidad.
3. Abra Whisper.unity Carper con línea de comandos
4. Si está utilizando Windows Write:

. b uild_cpp.bat cpu path t o w hisper

5. Si está usando MacOS Write:

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

6. Si estás usando Linux Write

sh build_cpp_linux.sh path/to/whisper cpu

7. Si la compilación fue exitosa, las bibliotecas compiladas deben actualizarse automáticamente la carpeta Plugins de paquetes.

Windows producirá solo la biblioteca de Windows, Linux solo producirá Linux. MacOS producirá bibliotecas MacOS, iOS y Android.

MACOS Build Script se probó en Mac con el procesador ARM. Para los procesadores Intel, es posible que necesite cambiar algunos parámetros.

Licencia

Este proyecto tiene licencia bajo la licencia MIT.

Utiliza bibliotecas compiladas y pesos de modelo de whisper.cpp, que está bajo la licencia MIT.

El código y los pesos originales de Operai también están bajo la licencia MIT.