Whisper WebUI

竊竊私語

低語的基於Gradio的瀏覽器界面。您可以將其用作簡單的字幕生成器！

筆記本

如果您想在Colab上嘗試此操作，可以在這裡進行！

特徵

• 選擇您要使用的耳語實現：
  • Openai/竊竊私語
  • systran/更快的旋風（默認使用）
  • vaibhavs10/瘋狂狂歡
• 來自各種來源的字幕，包括：
  • 文件
  • Youtube
  • 麥克風
• 目前支持的字幕格式：
  • SRT
  • Webvtt
  • txt（只有不含時間表的文本文件）
• 對文字翻譯的講話
  • 從其他語言到英語。 （這是Whisper的端到端語音到文本翻譯功能）
• 文字轉換翻譯
  • 使用Facebook NLLB模型翻譯字幕文件
  • 使用DEEPL API翻譯字幕文件
• 用Silero VAD預處理音頻輸入。
• 預處理音頻輸入以使用UVR分開BGM。
• 使用Pyannote模型進行後處理，並使用揚聲器診斷。
  • 要下載Pyannote模型，您需要在下面的頁面中擁有一個擁抱面代幣，並手動接受其條款。
    1. https://huggingface.co/pyannote/speaker-diarization-3.1
    2. https://huggingface.co/pyannote/sementation-3.0

安裝和運行

• 與Pinokio一起運行

該應用程序可以使用Pinokio運行。

1. 安裝Pinokio軟件。
2. 打開軟件並蒐索Whisper-Webui並安裝它。
3. 啟動Whisper-Webui，然後連接到http://localhost:7860 。

• 與Docker一起跑步

1. 安裝和啟動Docker-Desktop。

2. git克隆存儲庫

git clone https://github.com/jhj0517/Whisper-WebUI.git

3. 構建圖像（圖像約為7GB〜）

docker compose build 

4. 運行容器

docker compose up

5. 使用您的瀏覽器http://localhost:7860連接到WebUI

如果需要，請更新docker-compose.yaml以匹配您的環境。

• 本地運行

先決條件

要運行此WebUI，您需要擁有git ， 3.10 <= python <= 3.12 ， FFmpeg 。
而且，如果您不使用NVIDA GPU，或者使用與12.4的CUDA版本不同，請編輯requirements.txt以匹配您的環境。

請按照以下鏈接安裝必要的軟件：

• git：https：//git-scm.com/downloads
• Python：https：//www.python.org/downloads/建議使用3.10 ~ 3.12 。
• ffmpeg：https：//ffmpeg.org/download.html
• cuda：https：//developer.nvidia.com/cuda-downloads

安裝FFMPEG後，請確保將FFmpeg/bin文件夾添加到您的系統路徑！

自動安裝

1. git克隆這個存儲庫

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. 運行install.bat或install.sh以安裝依賴項。 （它將創建一個venv目錄並在那里安裝依賴項。）
3. 使用start-webui.bat或start-webui.sh啟動webui（激活VENV後將運行python app.py ）

而且，如果您願意，您還可以使用命令行參數運行該項目，請參閱Wiki以獲取參數指南。

VRAM用法

默認情況下，該項目與更快的呼聲集成在一起，以更好地使用VRAM和轉錄速度。

根據更快的呼聲，優化的耳語模型的效率如下：

執行	精確	梁尺寸	時間	最大限度。 GPU內存	最大限度。 CPU內存
Openai/竊竊私語	FP16	5	4M30S	11325MB	9439MB
更快的呼聲	FP16	5	54	4755MB	3244MB

如果要使用更快的旋轉速度以外的實現，請使用--whisper_type arg和存儲庫名稱。
閱讀Wiki以獲取有關CLI ARGS的更多信息。

可用型號

這是Whisper的原始VRAM使用表用於模型。

尺寸	參數	僅英語模型	多語言模型	需要VRAM	相對速度
微小的	39 m	tiny.en	tiny	〜1 GB	〜32X
根據	74 m	base.en	base	〜1 GB	〜16x
小的	244 m	small.en	small	〜2 GB	〜6x
中等的	769 m	medium.en	medium	〜5 GB	〜2x
大的	1550 m	N/A。	large	〜10 GB	1倍

.en

待會？

• 添加DEEPL API翻譯
• 添加NLLB模型翻譯
• 與更快的旋風集成
• 與瘋狂的呼聲集成在一起
• 與Whisperx整合（僅說話者診斷部分）
• 使用UVR添加背景音樂分離預處理
• 添加快速的API腳本
• 支持麥克風實時轉錄

翻譯

任何將語言翻譯成翻譯的PR。YAML將不勝感激！