finetune whisper lora Download - finetune whisper lora Quellcode Download

finetune whisper lora

AI-Quellcode

version for cantonese

Herunterladen

Finetune Whisper mit Lora für Kantonesisch und Mandarin

? Hf repo •? Github Repo

Fangen an

1. Setup Docker Umgebung

Wechseln Sie zum Docker -Ordner und erstellen Sie das Docker -GPU -Bild für das Training:

 cd docker
docker compose build

Führen Sie den Bauvorgang ab, führen Sie den folgenden Befehl aus, um einen Docker -Container zu starten, und fügen Sie ihn an:

docker compose up -d
docker exec -it asr bash

2. Erstellen Sie Trainingsdaten

Siehe Detail im Ordner DataSet_Scripts.

3..

 # Finetuning
python finetune.py --model_id base --streaming True --train_batch_size 64 --gradient_accumulation_steps 2 --fp16 True

 # LoRA Finetuning
python finetune_lora.py --model_id large-v2 --streaming True --train_batch_size 64 --gradient_accumulation_steps 2

4.. Bewerten Sie die Leistung

 # Evaluation
python eval.py --model_name_or_path Oblivion208/whisper-tiny-cantonese --streaming True --batch_size 64

 # LoRA Evaluation
python eval_lora.py --peft_model_id Oblivion208/whisper-large-v2-lora-mix --streaming True --batch_size 64

HINWEIS: Einstellung --streaming to False wird akustische Funktionen auf der lokalen Festplatte zwischengespeichert, wodurch die Figunenprozesse beschleunigt werden, aber die Festplattennutzung dramatisch erhöht (fast dreimal der Größe der RAW -Audio -Dateien).

Ungefähre Leistungsbewertung

Die folgenden Modelle werden alle in einer einzelnen RTX 3090 GPU über Way.ai ausgebildet und bewertet.

Kantonesische Testergebnisse Vergleich

MDCC

Modellname	Parameter	Finetune -Schritte	Zeitausgaben	Trainingsverlust	Validierungsverlust	Cer %	Finetuned -Modell
flüstertinisch-cantonesisch	39 m	3200	4H 34m	0,0485	0,771	11.10	Link
flüsterbasis-kantonesisch	74 m	7200	13H 32m	0,0186	0,477	7.66	Link
flüster-mall-kantonesisch	244 m	3600	6H 38m	0,0266	0,137	6.16	Link
flüster-small-lora-cantonesisch	3,5 m	8000	21h 27m	0,0687	0,382	7.40	Link
flüsterlarge-v2-lora-cantonese	15 m	10000	33H 40m	0,0046	0,277	3.77	Link

Common Voice Corpus 11.0

Modellname	Original Cer %	w/o Finetune cer %	Gemeinsame Finetune cer %
flüstertinisch-cantonesisch	124.03	66,85	35.87
flüsterbasis-kantonesisch	78,24	61.42	16.73
flüster-mall-kantonesisch	52,83	31.23	/
flüster-small-lora-cantonesisch	37.53	19.38	14.73
flüsterlarge-v2-lora-cantonese	37.53	19.38	9.63