Whisper WebUI

เสียงกระซิบ

อินเทอร์เฟซเบราว์เซอร์ที่ใช้ Gradio สำหรับ Whisper คุณสามารถใช้เป็นเครื่องกำเนิดคำบรรยายที่ง่าย!

สมุดบันทึก

หากคุณต้องการลองใช้สิ่งนี้บน colab คุณสามารถทำได้ที่นี่!

คุณสมบัติ

• เลือกการใช้งาน Whisper ที่คุณต้องการใช้ระหว่าง:
  • Openai/Whisper
  • Systran/Faster-Whisper (ใช้โดยค่าเริ่มต้น)
  • vaibhavs10/whisper อย่างบ้าคลั่ง
• สร้างคำบรรยายจากแหล่งต่าง ๆ รวมถึง:
  • ไฟล์
  • YouTube
  • ไมโครโฟน
• รูปแบบคำบรรยายที่รองรับในปัจจุบัน:
  • SRT
  • webvtt
  • txt (เฉพาะไฟล์ข้อความที่ไม่มีไทม์ไลน์)
• คำพูดเพื่อแปลข้อความ
  • จากภาษาอื่นเป็นภาษาอังกฤษ (นี่คือคุณสมบัติการแปลคำพูดแบบ end-to-end ของ Whisper)
• ข้อความถึงการแปลข้อความ
  • แปลไฟล์คำบรรยายโดยใช้รุ่น Facebook NLLB
  • แปลไฟล์คำบรรยายโดยใช้ Deepl API
• การประมวลผลเสียงล่วงหน้าด้วย Silero VAD
• การประมวลผลข้อมูลเสียงล่วงหน้าเพื่อแยก BGM ด้วย UVR
• โพสต์การประมวลผลด้วย Diarization ลำโพงโดยใช้โมเดล Pyannote
  • ในการดาวน์โหลดโมเดล Pyannote คุณจะต้องมีโทเค็น HuggingFace และยอมรับข้อกำหนดของพวกเขาด้วยตนเองในหน้าด้านล่าง
    1. https://huggingface.co/pyannote/speaker-diarization-3.1
    2. https://huggingface.co/pyannote/segmentation-3.0

การติดตั้งและทำงาน

• ทำงานกับ Pinokio

แอพสามารถทำงานกับ Pinokio ได้

1. ติดตั้งซอฟต์แวร์ Pinokio
2. เปิดซอฟต์แวร์และค้นหา Whisper-Webui และติดตั้ง
3. เริ่มต้น Whisper-Webui และเชื่อมต่อกับ http://localhost:7860

• ทำงานกับ Docker

1. ติดตั้งและเรียกใช้ Docker-Desktop

2. git โคลนที่เก็บ

git clone https://github.com/jhj0517/Whisper-WebUI.git

3. สร้างภาพ (ภาพประมาณ 7GB ~)

docker compose build 

4. เรียกใช้คอนเทนเนอร์

docker compose up

5. เชื่อมต่อกับ WebUI กับเบราว์เซอร์ของคุณที่ http://localhost:7860

หากจำเป็นให้อัปเดต docker-compose.yaml เพื่อให้ตรงกับสภาพแวดล้อมของคุณ

• วิ่งในพื้นที่

ข้อกำหนดเบื้องต้น

ในการเรียกใช้ webui นี้คุณจะต้องมี git , 3.10 <= python <= 3.12 , FFmpeg
และหากคุณไม่ได้ใช้ NVIDA GPU หรือใช้ CUDA รุ่นอื่นที่แตกต่างจาก 12.4 ให้แก้ไข requirements.txt เพื่อให้ตรงกับสภาพแวดล้อมของคุณ

โปรดไปที่ลิงค์ด้านล่างเพื่อติดตั้งซอฟต์แวร์ที่จำเป็น:

• Git: https://git-scm.com/downloads
• Python: https://www.python.org/downloads/ 3.10 ~ 3.12 แนะนำ
• ffmpeg: https://ffmpeg.org/download.html
• CUDA: https://developer.nvidia.com/cuda-downloads

หลังจากติดตั้ง FFMPEG ตรวจ สอบให้แน่ใจว่าได้เพิ่มโฟลเดอร์ FFmpeg/bin ไปยังเส้นทางระบบของคุณ!

การติดตั้งอัตโนมัติ

1. git โคลนที่เก็บนี้

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. Run install.bat หรือ install.sh เพื่อติดตั้งการพึ่งพา (มันจะสร้างไดเรกทอรี venv และติดตั้งการพึ่งพาที่นั่น)
3. เริ่ม webui ด้วย start-webui.bat หรือ start-webui.sh (มันจะเรียกใช้ python app.py หลังจากเปิดใช้งาน venv)

และคุณยังสามารถเรียกใช้โครงการด้วยอาร์กิวเมนต์บรรทัดคำสั่งหากคุณต้องการดูวิกิสำหรับคำแนะนำในการโต้แย้ง

การใช้งาน VRAM

โครงการนี้ถูกรวมเข้ากับเร็วขึ้นโดยค่าเริ่มต้นสำหรับการใช้ VRAM ที่ดีขึ้นและความเร็วในการถอดความ

ตามที่เร็วขึ้น-เสียงดังประสิทธิภาพของโมเดล Whisper ที่ได้รับการปรับปรุงให้ดีขึ้นมีดังนี้:

การดำเนินการ	ความแม่นยำ	ขนาดลำแสง	เวลา	สูงสุด หน่วยความจำ GPU	สูงสุด หน่วยความจำ CPU
Openai/Whisper	FP16	5	4m30s	11325MB	9439MB
คร่ำครวญ	FP16	5	54s	4755MB	3244MB

หากคุณต้องการใช้การใช้งานอื่นนอกเหนือจากที่เร็วขึ้น-Whisper ให้ใช้ --whisper_type arg และชื่อที่เก็บ
อ่าน Wiki สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ CLI ARGS

รุ่นที่มีอยู่

นี่คือตารางการใช้งาน VRAM ดั้งเดิมของ Whisper สำหรับรุ่น

ขนาด	พารามิเตอร์	รุ่นภาษาอังกฤษเท่านั้น	แบบหลายภาษา	VRAM ที่ต้องการ	ความเร็วสัมพัทธ์
ขนาดเล็ก	39 ม.	tiny.en	tiny	~ 1 GB	~ 32X
ฐาน	74 ม.	base.en	base	~ 1 GB	~ 16X
เล็ก	244 ม.	small.en	small	~ 2 GB	~ 6x
ปานกลาง	769 ม.	medium.en	medium	~ 5 GB	~ 2x
ใหญ่	1550 ม.	N/A	large	~ 10 GB	1x

.en รุ่นสำหรับภาษาอังกฤษเท่านั้นและสิ่งที่ยอดเยี่ยมคือคุณสามารถใช้ตัวเลือก Translate to English จากรุ่น "ใหญ่"!

ต้องทำ?

• เพิ่มการแปล deepl api
• เพิ่มการแปลรุ่น NLLB
• รวมเข้ากับเสียงหวือหวาเร็วขึ้น
• รวมเข้ากับเสียงกรดเร็วอย่างบ้าคลั่ง
• รวมเข้ากับ Whisperx (เฉพาะส่วนลำโพง diarization)
• เพิ่มการแยกเพลงพื้นหลังล่วงหน้าด้วย UVR
• เพิ่มสคริปต์ API ที่รวดเร็ว
• รองรับการถอดความแบบเรียลไทม์สำหรับไมโครโฟน

การแปล

PRS ใด ๆ ที่แปลภาษาเป็นคำแปล YAML จะได้รับการชื่นชมอย่างมาก!