Whisper WebUI

Chuchoter-webui

Une interface de navigateur basée sur Gradio pour Whisper. Vous pouvez l'utiliser comme un générateur de sous-titre facile!

Carnet de notes

Si vous souhaitez essayer ceci sur Colab, vous pouvez le faire ici!

Fonctionnalité

• Sélectionnez l'implémentation Whisper que vous souhaitez utiliser entre:
  • Openai / Whisper
  • Systran / plus rapide-Whisper (utilisé par défaut)
  • Vaibhavs10 / Whisper incroyablement rapide
• Générez des sous-titres à partir de diverses sources, notamment:
  • Fichiers
  • Youtube
  • Microphone
• Formats de sous-titres actuellement pris en charge:
  • SRT
  • Webvtt
  • txt (seul fichier texte sans chronologie)
• Traduction de discours à texte
  • D'autres langues à l'anglais. (Ceci est la fonction de traduction de parole de bout en bout de Whisper)
• Traduction de texte à texte
  • Traduire des fichiers de sous-titre à l'aide de modèles Facebook NLLB
  • Traduire des fichiers de sous-titre à l'aide de l'API Deepl
• Entrée audio de prétraitement avec SILERO VAD.
• Entrée audio de prétraitement pour séparer BGM avec UVR.
• Post-traitement avec diarisation du haut-parleur en utilisant le modèle de pyannote.
  • Pour télécharger le modèle Pyannote, vous devez avoir un jeton de câlins et accepter manuellement leurs termes dans les pages ci-dessous.
    1. https://huggingface.co/pyannote/speaker-diarisation-3.1
    2. https://huggingface.co/pyannote/segmentation-3.0

Installation et course

• Courir avec Pinokio

L'application est capable de s'exécuter avec Pinokio.

1. Installez le logiciel Pinokio.
2. Ouvrez le logiciel et recherchez Whisper-webui et installez-le.
3. Démarrez le Whisper-Webui et connectez-vous au http://localhost:7860 .

• Courir avec Docker

1. Installez et lancez Docker-desktop.

2. Git clone le référentiel

git clone https://github.com/jhj0517/Whisper-WebUI.git

3. Construisez l'image (l'image est d'environ 7 Go ~)

docker compose build 

4. Exécutez le conteneur

docker compose up

5. Connectez-vous au webui avec votre navigateur sur http://localhost:7860

Si nécessaire, mettez à jour le docker-compose.yaml pour correspondre à votre environnement.

• Courir localement

Condition préalable

Pour exécuter ce webui, vous devez avoir git , 3.10 <= python <= 3.12 , FFmpeg .
Et si vous n'utilisez pas un GPU NVIDA ou si vous n'utilisez pas une version CUDA différente de 12.4, modifiez les requirements.txt pour correspondre à votre environnement.

Veuillez suivre les liens ci-dessous pour installer le logiciel nécessaire:

• git: https://git-scm.com/downloads
• Python: https://www.python.org/downloads/ 3.10 ~ 3.12 est recommandé.
• Ffmpeg: https://ffmpeg.org/download.html
• Cuda: https://developer.nvidia.com/cuda-downloads

Après avoir installé FFMPEG, assurez-vous d'ajouter le dossier FFmpeg/bin à votre chemin système!

Installation automatique

1. git clone ce référentiel

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. Exécutez install.bat ou install.sh pour installer les dépendances. (Il créera un répertoire venv et y installera des dépendances.)
3. Démarrer webui avec start-webui.bat ou start-webui.sh (il exécutera python app.py après l'activation du venv)

Et vous pouvez également exécuter le projet avec des arguments de ligne de commande si vous le souhaitez, voir Wiki pour un guide des arguments.

Usages VRAM

Ce projet est intégré à un Whisper plus rapide par défaut pour une meilleure utilisation VRAM et une vitesse de transcription.

Selon plus rapide, l'efficacité du modèle de chuchotement optimisé est la suivante:

Mise en œuvre	Précision	Taille de faisceau	Temps	Max. Mémoire de GPU	Max. Mémoire du processeur
Openai / Whisper	FP16	5	4m30	11325 Mo	9439 Mo
plus rapide	FP16	5	54S	4755 Mo	3244 Mo

Si vous souhaitez utiliser une implémentation autre que plus rapide, utilisez --whisper_type Arg et le nom du référentiel.
Lisez le wiki pour plus d'informations sur CLI Args.

Modèles disponibles

Il s'agit de la table d'utilisation VRAM originale de Whisper pour les modèles.

Taille	Paramètres	Modèle uniquement en anglais	Modèle multilingue	Requis VRAM	Vitesse relative
minuscule	39 m	tiny.en	tiny	~ 1 Go	~ 32x
base	74 m	base.en	base	~ 1 Go	~ 16x
petit	244 m	small.en	small	~ 2 Go	~ 6x
moyen	769 m	medium.en	medium	~ 5 Go	~ 2x
grand	1550 m	N / A	large	~ 10 Go	1x

.en modèles sont pour l'anglais uniquement, et ce qui est cool est que vous pouvez utiliser l'option Translate to English des "grands" modèles!

FAIRE?

• Ajouter la traduction de l'API Deepl
• Ajouter une traduction du modèle NLLB
• Intégrer avec plus rapidement
• Intégrer avec des perturbations incroyablement rapides
• Intégrer avec Whisperx (seule partie de diarisation du haut-parleur)
• Ajouter le prétraitement de séparation de musique de fond avec les UVR
• Ajouter un script API rapide
• Soutenir la transcription en temps réel pour le microphone

Traduction

Tout PRS qui traduit la langue en traduction.yaml serait grandement apprécié!