Whisper WebUI

Whisper-Webui

Antarmuka browser berbasis gradio untuk Whisper. Anda dapat menggunakannya sebagai generator subtitle yang mudah!

Buku catatan

Jika Anda ingin mencoba ini di Colab, Anda dapat melakukannya di sini!

Fitur

• Pilih implementasi Whisper yang ingin Anda gunakan antara:
  • Openai/Whisper
  • Systran/Faster-Whisper (digunakan secara default)
  • Vaibhavs10/gila-cepat-cepat-whisper
• Menghasilkan subtitle dari berbagai sumber, termasuk:
  • File
  • YouTube
  • Mikropon
• Format subtitle yang saat ini didukung:
  • Srt
  • Webvtt
  • txt (hanya file teks tanpa garis waktu)
• Terjemahan pidato ke teks
  • Dari bahasa lain ke bahasa Inggris. (Ini adalah fitur terjemahan ucapan ke ujung ke ujung bisikan)
• Terjemahan teks ke teks
  • Menerjemahkan file subtitle menggunakan model NLLB Facebook
  • Menerjemahkan file subtitle menggunakan API Deept
• Input audio pra-pemrosesan dengan Silero VAD.
• Input audio pra-pemrosesan untuk memisahkan BGM dengan UVR.
• Pasca-pemrosesan dengan Diarization Speaker menggunakan model Pyannote.
  • Untuk mengunduh model Pyannote, Anda perlu memiliki token pelukan dan secara manual menerima persyaratan mereka di halaman di bawah ini.
    1. https://huggingface.co/pyannote/speaker-darization-3.1
    2. https://huggingface.co/pyannote/segmentation-3.0

Instalasi dan berjalan

• Berlari dengan Pinokio

Aplikasi ini dapat berjalan dengan Pinokio.

1. Instal Pinokio Software.
2. Buka perangkat lunak dan cari Whisper-Webui dan instal.
3. Mulai Whisper-Webui dan sambungkan ke http://localhost:7860 .

• Berlari dengan Docker

1. Instal dan luncurkan Docker-Desktop.

2. Git mengkloning repositori

git clone https://github.com/jhj0517/Whisper-WebUI.git

3. Bangun gambar (gambar sekitar 7GB ~)

docker compose build 

4. Jalankan wadah

docker compose up

5. Hubungkan ke WebUI dengan browser Anda di http://localhost:7860

Jika perlu, perbarui docker-compose.yaml untuk mencocokkan lingkungan Anda.

• Jalankan secara lokal

Prasyarat

Untuk menjalankan webui ini, Anda harus memiliki git , 3.10 <= python <= 3.12 , FFmpeg .
Dan jika Anda tidak menggunakan GPU NVIDA, atau menggunakan versi CUDA yang berbeda dari 12.4, edit requirements.txt untuk mencocokkan lingkungan Anda.

Ikuti tautan di bawah ini untuk menginstal perangkat lunak yang diperlukan:

• git: https://git-scm.com/downloads
• Python: https://www.python.org/downloads/ 3.10 ~ 3.12 direkomendasikan.
• Ffmpeg: https://ffmpeg.org/download.html
• CUDA: https://developer.nvidia.com/cuda-Downloads

Setelah menginstal FFMPEG, pastikan untuk menambahkan folder FFmpeg/bin ke jalur sistem Anda!

Instalasi Otomatis

1. Git mengkloning repositori ini

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. Jalankan install.bat atau install.sh untuk menginstal dependensi. (Ini akan membuat direktori venv dan menginstal dependensi di sana.)
3. Mulai WebUi dengan start-webui.bat atau start-webui.sh (itu akan menjalankan python app.py setelah mengaktifkan venv)

Dan Anda juga dapat menjalankan proyek dengan argumen baris perintah jika Anda suka, lihat wiki untuk panduan argumen.

Penggunaan VRAM

Proyek ini terintegrasi dengan lebih cepat whisper secara default untuk penggunaan VRAM dan kecepatan transkripsi yang lebih baik.

Menurut lebih cepat-whisper, efisiensi model bisikan yang dioptimalkan adalah sebagai berikut:

Pelaksanaan	Presisi	Ukuran balok	Waktu	Max. Memori GPU	Max. Memori CPU
Openai/Whisper	FP16	5	4m30 -an	11325MB	9439MB
lebih cepat whisper	FP16	5	54S	4755MB	3244MB

Jika Anda ingin menggunakan implementasi selain lebih cepat, gunakan --whisper_type arg dan nama repositori.
Baca Wiki untuk info lebih lanjut tentang CLI Args.

Model yang tersedia

Ini adalah tabel penggunaan VRAM asli Whisper untuk model.

Ukuran	Parameter	Model hanya bahasa Inggris	Model multibahasa	Diperlukan vram	Kecepatan relatif
kecil	39 m	tiny.en	tiny	~ 1 GB	~ 32x
basis	74 m	base.en	base	~ 1 GB	~ 16x
kecil	244 m	small.en	small	~ 2 GB	~ 6x
sedang	769 m	medium.en	medium	~ 5 GB	~ 2x
besar	1550 m	N/a	large	~ 10 GB	1x

Model .en hanya untuk bahasa Inggris, dan yang keren adalah Anda dapat menggunakan opsi Translate to English dari model "besar"!

TODO?

• Tambahkan Terjemahan API Deept
• Tambahkan Terjemahan Model NLLB
• Berintegrasi dengan lebih cepat whisper
• Berintegrasi dengan whisper cepat-cepat
• Integrasi dengan Whisperx (hanya bagian Diarization Speaker)
• Tambahkan Latar Belakang Pemisahan Musik Pra-pemrosesan dengan UVR
• Tambahkan skrip API cepat
• Mendukung transkripsi real-time untuk mikrofon

Terjemahan

PRS apa pun yang menerjemahkan bahasa menjadi terjemahan. Yl akan sangat dihargai!