Whisper WebUI

Whisper-Webui

Интерфейс браузера на основе Gradio для Whisper. Вы можете использовать его в качестве простого генератора субтитра!

Блокнот

Если вы хотите попробовать это на Colab, вы можете сделать это здесь!

Особенность

• Выберите реализацию Whisper, которую вы хотите использовать между:
  • Openai/Whisper
  • Systran/быстрее (используется по умолчанию)
  • Vaibhavs10/безумно-бывшая-белая
• Генерировать субтитры из различных источников, в том числе:
  • Файлы
  • YouTube
  • Микрофон
• В настоящее время поддерживаются форматы субтитров:
  • SRT
  • Webvtt
  • txt (только текстовый файл без временной шкалы)
• Речь в текстовый перевод
  • От других языков до английского. (Это сквозная функция перевода Whisper's Whisper)
• Текст на текстовый перевод
  • Перевести файлы субтитров с использованием моделей Facebook NLLB
  • Перевести файлы субтитров с использованием DeepL API
• Предварительная обработка звуковой ввод с Silero VAD.
• Предварительно обработка аудиовнатов для разделения BGM с UVR.
• Пост-обработка с деморизацией динамика с использованием модели Pyannote.
  • Чтобы загрузить модель Pyannote, вам нужно иметь токен объятия и вручную принять их термины на страницах ниже.
    1. https://huggingface.co/pyannote/speaker-diarization-3.1
    2. https://huggingface.co/pyannote/segmentation-3.0

Установка и работа

• Бег с Пинокио

Приложение может работать с Pinokio.

1. Установите программное обеспечение Pinokio.
2. Откройте программное обеспечение и найдите Whisper-Webui и установите его.
3. Запустите Whisper-Webui и подключитесь к http://localhost:7860 .

• Бег с докером

1. Установите и запустите Docker-Desktop.

2. Git клонировать репозиторий

git clone https://github.com/jhj0517/Whisper-WebUI.git

3. Создайте изображение (изображение около 7 ГБ ~)

docker compose build 

4. Запустите контейнер

docker compose up

5. Подключитесь к WebUI с вашим браузером по адресу http://localhost:7860

При необходимости обновите docker-compose.yaml чтобы соответствовать вашей среде.

• Бежать локально

Условие

Чтобы запустить этот WebUI, вам нужно иметь git , 3.10 <= python <= 3.12 , FFmpeg .
И если вы не используете графический процессор NVIDA или не используете другую версию CUDA , чем 12.4, отредактируйте requirements.txt в соответствии с вашей средой.

Пожалуйста, перейдите по ссылкам ниже, чтобы установить необходимое программное обеспечение:

• git: https://git-cm.com/downloads
• Python: https://www.python.org/downloads/ 3.10 ~ 3.12 рекомендуется.
• Ffmpeg: https://ffmpeg.org/download.html
• CUDA: https://developer.nvidia.com/cuda-woundloads

После установки FFMPEG, обязательно добавьте папку FFmpeg/bin в свой путь!

Автоматическая установка

1. git клонировать этот репозиторий

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. Запустите install.bat или install.sh для установки зависимостей. (Это создаст каталог venv и установит там зависимости.)
3. Начать Webui с start-webui.bat или start-webui.sh (он будет запускать python app.py после активации Venv)

И вы также можете запустить проект с аргументами командной строки, если хотите, см. Вики для руководства по аргументам.

Использование VRAM

Этот проект интегрирован с быстрее по умолчанию для лучшего использования VRAM и скорости транскрипции.

Согласно быстрее, эффективность оптимизированной модели шепота заключается в следующем:

Выполнение	Точность	Размер луча	Время	Максимум Память графического процессора	Максимум Память процессора
Openai/Whisper	FP16	5	4M30S	11325 МБ	9439 МБ
быстрее	FP16	5	54 с	4755 МБ	3244MB

Если вы хотите использовать реализацию, отличную от быстрее, используйте --whisper_type arg и имя репозитория.
Прочитайте Wiki для получения дополнительной информации о CLI Args.

Доступные модели

Это оригинальный таблица использования VRAM от Whisper для моделей.

Размер	Параметры	Модель только на английском языке	Многоязычная модель	Требуется VRAM	Относительная скорость
крошечный	39 м	tiny.en	tiny	~ 1 ГБ	~ 32x
база	74 м	base.en	base	~ 1 ГБ	~ 16x
маленький	244 м	small.en	small	~ 2 ГБ	~ 6x
середина	769 м	medium.en	medium	~ 5 ГБ	~ 2x
большой	1550 м	N/a	large	~ 10 ГБ	1x

.en Модели предназначены только для английского, и что круто то, что вы можете использовать опцию « Translate to English из «больших» моделей!

Тодо?

• Добавить Deepl API перевод
• Добавить перевод модели NLLB
• Интегрируйте с быстрее
• Интегрируйте с безумно-чутьми-белыми
• Интегрируйте с Whisperx (только часть динамики динамика)
• Добавить предварительную обработку фоновой музыки с помощью UVR
• Добавить быстрый сценарий API
• Поддержать транскрипцию в реальном времени для микрофона

Перевод

Любые PRS, которые переводят язык в перевод. YAML будет очень ценится!