obs localvocal
OBS
Скачать:
LocalVocal позволяет локально на вашем компьютере транскрибировать речь в текст и одновременно переводить ее на любой язык. ✅ Не требуется графический процессор, ✅ нет затрат на облако, ✅ нет сети и ✅ нет простоев! Конфиденциальность прежде всего — все данные остаются на вашем компьютере.
Если этот бесплатный плагин оказался ценным, рассмотрите возможность добавления ⭐ к этому репозиторию GH, оценки его на OBS, подписки на мой канал YouTube, где я публикую обновления, и поддержки моей работы на GitHub, Patreon или OpenCollective?
Внутри плагина используется OpenAI Whisper для обработки речи в реальном времени и прогнозирования транскрипции. Он использует проект Whisper.cpp от ggerganov для эффективной работы сети Whisper на центральных и графических процессорах. Перевод осуществляется с помощью CTranslate2.
Делайте больше с LocalVocal:
Перевод в реальном времени
Перевести заголовок любого приложения
Перевод в реальном времени с DeepL
Перевод в реальном времени с OpenAI
ChatGPT + Преобразование текста в речь
POST субтитры на YouTube
Местный LLM-перевод в реальном времени
Руководство по использованию
Текущие возможности:
Транскрибируйте аудио в текст в реальном времени на 100 языках.
Отображение титров на экране с использованием текстовых источников
Отправка титров в файл .txt или .srt (для чтения внешними источниками или воспроизведения видео) с опцией агрегирования или без нее.
Синхронизированные субтитры с временными метками записи OBS.
Отправляйте субтитры в потоке RTMP, например, на YouTube, Twitch.
Принесите свою собственную модель Whisper (любую GGML)
Переводите субтитры в режиме реального времени на основные языки (как встроенный перевод Whisper, так и модели NMT)
Поддержка ускорения CUDA, hipBLAS (AMD ROCm), Apple Arm64, AVX и SSE.
Отфильтровать или заменить любую часть созданных подписей
Частичная транскрипция для удобства потоковой передачи субтитров
Сотни точно настроенных моделей Whisper для десятков языков от HuggingFace
Дорожная карта:
Более надежные встроенные возможности перевода
Дополнительные параметры вывода: .vtt, .ssa, .sub и т. д.
Диаризация говорящего (обнаружение говорящих в аудиопотоке, состоящем из нескольких человек)
Ознакомьтесь с другими нашими плагинами:
Удаление фона удаляет фон с веб-камеры без зеленого экрана.
Detect будет обнаруживать и отслеживать более 80 типов объектов в режиме реального времени внутри OBS.
CleanStream для удаления слов-вставок (э-э-э-э) и ненормативной лексики из живого аудиопотока.
Источник URL/API, который позволяет получать текущие данные из API и отображать их в OBS.
Squawk добавляет реалистичные локальные возможности преобразования текста в речь, встроенные в OBS
Ознакомьтесь с последними версиями для загрузки и инструкциями по установке.
Плагин поставляется с моделью Tiny.en и автоматически загружает другие модели Whisper через раскрывающийся список. Также есть возможность выбрать внешний файл модели GGML Whisper, если он у вас есть на диске.
Получите больше моделей на https://ggml.ggerganov.com/ и HuggingFace, следуйте инструкциям на сайте quiet.cpp, чтобы создать свои собственные модели, или загрузите другие, например очищенные модели.
Плагин был создан и протестирован на Mac OSX (Intel и Apple Silicon), Windows (с Nvidia CUDA и без него) и Linux.
Начните с клонирования этого репозитория в каталог по вашему выбору.
Используя сценарии конвейера CI, локально вы просто вызываете сценарий zsh, который выполняет сборку для архитектуры, указанной в $MACOS_ARCH (либо x86_64 , либо arm64 ).
$ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c Release
Приведенный выше сценарий должен завершиться успешно, а файлы плагина (например, obs-localvocal.plugin ) будут находиться в корневой папке ./release/Release . Скопируйте файл .plugin в каталог OBS, например ~/Library/Application Support/obs-studio/plugins .
Чтобы получить файл установщика .pkg , запустите, например:
$ ./.github/scripts/package-macos -c Релиз
(Обратите внимание, что выходные данные могут находиться в папке Release , а не в папке install , как ожидает pakage-macos , поэтому вам нужно будет переименовать папку из build_x86_64/Release в build_x86_64/install )
Для успешной сборки в Ubuntu сначала клонируйте репозиторий, а затем из каталога репо:
$ sudo apt install -y libssl-dev $ ./.github/scripts/build-linux
Скопируйте результаты в стандартные папки OBS в Ubuntu.
$ sudo cp -R Release/RelWithDebInfo/lib/* /usr/lib/ $ sudo cp -R Release/RelWithDebInfo/share/* /usr/share/
Примечание. Официальное руководство по плагинам OBS рекомендует добавлять плагины в папку ~/.config/obs-studio/plugins . Это связано с тем, как вы установили OBS.
Если вышеуказанное не сработало, попробуйте скопировать файлы в папку ~/.config :
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit $ cp -R Release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/ $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data $ cp -R Release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
Для других дистрибутивов, в которых вы не можете использовать сценарий сборки CI, вы можете собрать плагин следующим образом.
Клонируйте репозиторий и установите эти зависимости с помощью менеджера пакетов вашего дистрибутива:
libssl (с заголовками разработки)
Создайте сценарии сборки CMake (при необходимости настройте папки).
cmake -B build-dir --preset linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir
Создайте плагин и скопируйте файлы в выходной каталог.
cmake --build build-dir --target install
Скопируйте плагин в папку плагинов OBS.
mkdir -p ~/.config/obs-studio/plugins/bin/64bit cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/
NB. В зависимости от вашей системы плагин может находиться в
./output_dir/lib64/obs-plugins.
Скопируйте данные плагина в папку плагинов OBS — возможно, потребуется только при первой установке.
mkdir -p ~/.config/obs-studio/plugins/data cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/
Снова используйте сценарии CI, например:
> .github/scripts/Build-Windows.ps1 — выпуск конфигурации
Сборка должна находиться в корневой папке ./release . Вы можете вручную установить файлы в каталог OBS.
> Copy-Item -Recurse -Force "releaseRelease*" -Destination "C:Program Filesobs-studio"
LocalVocal теперь будет автоматически выполнять сборку с поддержкой CUDA через предварительно созданный двоичный файл Whisper.cpp с https://github.com/locaal-ai/locaal-ai-dep-whispercpp. Скрипты CMake загрузят все необходимые файлы.
Для сборки с помощью cuda добавьте ACCELERATION в качестве переменной среды (с помощью cpu , hipblas или cuda ) и регулярно собирайте
> $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 — выпуск конфигурации
