Whisper WebUI

Whisper-Webui

Uma interface de navegador baseada em graduação para Whisper. Você pode usá -lo como um gerador de legenda fácil!

Caderno

Se você deseja experimentar isso no Colab, pode fazê -lo aqui!

Recurso

• Selecione a implementação do sussurro que você deseja usar entre:
  • Openai/sussurro
  • Systran/mais rápido (usado por padrão)
  • Vaibhavs10/Whisper insanamente rápido
• Gerar legendas de várias fontes, incluindo:
  • Arquivos
  • YouTube
  • Microfone
• Formatos de legenda atualmente suportados:
  • Srt
  • Webvtt
  • txt (apenas arquivo de texto sem linha do tempo)
• Discurso para tradução de texto
  • De outros idiomas para o inglês. (Este é o recurso de tradução de ponta a ponta do Whisper)
• Tradução de texto para texto
  • Traduzir arquivos de legenda usando modelos NLLB do Facebook
  • Traduzir arquivos de legenda usando a API DEEPL
• Entrada de áudio de pré-processamento com Silero Vad.
• Entrada de áudio de pré-processamento para separar o BGM com UVR.
• Pós-processamento com diarração do alto-falante usando o modelo de pyannote.
  • Para baixar o modelo de pyannote, você precisa ter um token Huggingface e aceitar manualmente seus termos nas páginas abaixo.
    1. https://huggingface.co/pyannote/speaker-diarization-3.1
    2. https://huggingface.co/pyannote/segmentation-3.0

Instalação e corrida

• Correndo com Pinokio

O aplicativo é capaz de executar com Pinokio.

1. Instale o software Pinokio.
2. Abra o software e pesquise Whisper-Webui e instale-o.
3. Inicie o Whisper-Webui e conecte-se ao http://localhost:7860 .

• Correndo com Docker

1. Instale e inicie o Docker-Desktop.

2. Clone git o repositório

git clone https://github.com/jhj0517/Whisper-WebUI.git

3. Construa a imagem (a imagem é de cerca de 7 GB ~)

docker compose build 

4. Execute o contêiner

docker compose up

5. Conecte -se ao webui com seu navegador em http://localhost:7860

Se necessário, atualize o docker-compose.yaml para corresponder ao seu ambiente.

• Execute localmente

Pré -requisito

Para executar este webui, você precisa ter git , 3.10 <= python <= 3.12 , FFmpeg .
E se você não estiver usando uma GPU da NVIDA ou usando uma versão CUDA diferente de 12.4, edite os requirements.txt para corresponder ao seu ambiente.

Siga os links abaixo para instalar o software necessário:

• Git: https://git-scm.com/downloads
• Python: https://www.python.org/downloads/ 3.10 ~ 3.12 é recomendado.
• Ffmpeg: https://ffmpeg.org/download.html
• CUDA: https://developer.nvidia.com/cuda-wnoads

Depois de instalar o FFMPEG, adicione a pasta FFmpeg/bin ao caminho do sistema!

Instalação automática

1. clone git este repositório

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. Execute install.bat ou install.sh para instalar dependências. (Ele criará um diretório venv e instalará dependências lá.)
3. Inicie Webui com start-webui.bat ou start-webui.sh (ele executará python app.py após ativar o Venv)

E você também pode executar o projeto com argumentos da linha de comando, se quiser, consulte o Wiki para um guia de argumentos.

Usos de vram

Este projeto é integrado com mais rápido e mais rápido por padrão para melhor uso de VRAM e velocidade de transcrição.

De acordo com mais rápido, a eficiência do modelo de sussurro otimizado é o seguinte:

Implementação	Precisão	Tamanho do feixe	Tempo	Máx. Memória da GPU	Máx. Memória da CPU
Openai/sussurro	FP16	5	4m30s	11325MB	9439MB
mais rápido	FP16	5	54s	4755MB	3244MB

Se você deseja usar uma implementação que não seja mais rápida, use --whisper_type arg e o nome do repositório.
Leia o Wiki para obter mais informações sobre a CLI Args.

Modelos disponíveis

Esta é a tabela de uso original do VRAM do Whisper para modelos.

Tamanho	Parâmetros	Modelo somente em inglês	Modelo multilíngue	VRAM necessário	Velocidade relativa
pequeno	39 m	tiny.en	tiny	~ 1 GB	~ 32x
base	74 m	base.en	base	~ 1 GB	~ 16x
pequeno	244 m	small.en	small	~ 2 GB	~ 6x
médio	769 m	medium.en	medium	~ 5 GB	~ 2x
grande	1550 m	N / D	large	~ 10 GB	1x

.en Modelos são apenas para inglês, e o legal é que você pode usar a opção Translate to English dos modelos "grandes"!

PENDÊNCIA?

• Adicionar tradução API DEEPL
• Adicionar tradução do modelo NLLB
• Integrar-se a um branco mais rápido
• Integrar-se com um branco insanamente rápido
• Integrar -se ao Whisperx (apenas parte da diarização do alto -falante)
• Adicione o pré-processamento da separação de músicas de fundo com UVR
• Adicionar script de API rápido
• Suporte a transcrição em tempo real para microfone

Tradução

Qualquer PRS que traduz o idioma em tradução. YAML seria muito apreciado!