whisper.unity

Whisper.unity

Это Unity3D -привязки для Whisper.cpp. Он обеспечивает высокопроизводительный вывод модели автоматического распознавания шепота Openai (ASR), работающей на вашей местной машине.

Этот репозиторий поставляется с весами модели "ggml-tiny.bin". Это самая маленькая и быстрая версия модели Whisper, но она имеет худшее качество по сравнению с другими моделями. Если вы хотите лучшего качества, проверьте веса других моделей.

Основные особенности:

• Многоязычная, поддерживает около 60 языков
• Может перевести один язык на другой (например, немецкая речь на английский текст)
• Различные размеры моделей, предлагающие скорость и компромиссы точности
• Работает на устройстве локального пользователя без подключения к Интернету
• Бесплатный и открытый исходный код, можно использовать в коммерческих проектах

Поддерживаемые платформы:

• Windows (x86_64, необязательная CUDA)
• MacOS (Intel и Arm, дополнительная металл)
• Linux (x86_64, необязательная Cuda)
• iOS (устройство и симулятор)
• Android (ARM64)
• Webgl (см. Эта проблема)
• Visionos

Образцы

multilang.mp4

«Whisper-Small.bin» модель тестируется на английском, немецком и русском языке от микрофона

Tiny.mp4

Модель "Whisper-round.bin", в 50 раз быстрее, чем в режиме реального времени на MacBook с M1 Pro

Начиная

Клонировать этот репозиторий и откройте его как обычный проект Unity. Он поставляется с примерами и крошечными весами с многолушней.

В качестве альтернативы вы можете добавить этот репозиторий в свой проект в качестве пакета Unity . Добавьте его по этому jit URL в свой менеджер пакетов Unity:

 https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

Поддержка CUDA

Проект Unity, составленный с включенным CUDA, ожидает, что ваши конечные пользователи будут иметь библиотеки NVIDIA и библиотеки CUDA. Попытка запустить сборку без этого приведет к ошибке.

Для выполнения вывода с помощью CUDA вам нужно будет поддерживать графический процессор и установить инструментарий CUDA (протестированный с 12.2.0).

После этого перейдите в настройки проекта => Whisper => включить CUDA . Это должно заставить пакет использовать библиотеку, скомпилированную для CUDA.

Металлическая поддержка

Whisper.cpp поддерживает металл только в семействе или более новех и более новых графических процессорах Apple7 (начиная с чипсов Apple M1). Попытка запустить на старом оборудовании будет отступить к выводу процессора.

Чтобы активировать металлический вывод, перейдите к настройкам проекта => Whisper => Enable Metal . Это должно заставить пакет использовать библиотеку, скомпилированную для металла.

Загрузка других весов модели

Вы можете попробовать разные веса Whisper Model. Например, вы можете улучшить транскрипцию английского языка, используя веса только для английского языка или попробовав более крупные модели.

Вы можете скачать веса модели отсюда. Просто поместите их в папку StreamingAssets .

Для получения дополнительной информации о различиях и форматах моделей прочитайте Whisper.cpp readme и Openai Readme.

Компиляция библиотек C ++ из источника

Этот проект поставляется с библиотеками Whisper.cpp Prebuild для всех поддерживаемых платформ. Вы можете восстановить их из источника, используя действия GitHub. Чтобы сделать это, создать вилку этого репо и перейти в Actions => Build C++ => Run workflow . После завершения трубопровода загрузите скомпилированные библиотеки в вкладке Artifacts.

Если вы хотите создать библиотеки на своей машине:

1. Клонировать оригинальный репозиторий wepper.cpp
2. Оформление тега v1.5.5. Другие версии могут не работать с этим единством.
3. Open Whisper.unity папка с командной строкой
4. Если вы используете Windows написать:

. b uild_cpp.bat cpu path t o w hisper

5. Если вы используете macOS , напишите:

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

6. Если вы используете Linux написать

sh build_cpp_linux.sh path/to/whisper cpu

7. Если сборка была успешной, скомпилированные библиотеки должны быть автоматически обновлять папку Plugins пакета.

Windows будет создавать только библиотеку Windows, Linux будет производить только Linux. MacOS будет производить библиотеки MacOS, iOS и Android.

Скрипт MacOS Build был протестирован на Mac с процессором ARM. Для процессоров Intel вам может потребоваться изменить некоторые параметры.

Лицензия

Этот проект лицензирован по лицензии MIT.

Он использует скомпилированные библиотеки и модель веса Whisper.cpp, которая находится под лицензией MIT.

Оригинальный код шепота Openai и веса также находятся под лицензией MIT.