fine tune whisper vi

Fine-Tune Whisper VI

Jupyter Notebooks untuk menyempurnakan model Whisper pada orang Vietnam menggunakan Kaggle (juga harus bekerja pada colab tetapi tidak diuji secara tidak teruji)

Menggunakan Koleksi Dataset Pidato Vietnam saya: https://huggingface.co/collections/doof-ferb/vietnamese-sheech-dataset-65c6af8c15c9950537862fa6

NB1 Impor Kelas Pelatih atau Pipa dari transformers Crash Kaggle TPU Sesi (lihat HuggingFace/Transformers#28609) Jadi lebih baik gunakan GPU

NB2 Kelas pelatih dari transformers Can Auto menggunakan multi-GPU seperti Kaggle gratis T4 × 2 tanpa perubahan kode secara default pelatih menggunakan paralelisme model naif yang tidak dapat sepenuhnya menggunakan semua GPU secara bersamaan, jadi lebih baik gunakan paralelisme data terdistribusi

NB3 Gunakan pencarian serakah default, karena pencarian balok memicu lonjakan dalam penggunaan vram yang dapat menyebabkan out-of-memory (bisikan asli menggunakan num balok = 5, sesuatu seperti do_sample=True, num_beams=5 )

NB4 Jika Gunakan Pelatihan Kaggle + Resume, ingatlah untuk mengaktifkan Kegigihan File sebelum meluncurkan

skrip

Evaluasi akurasi (WER) dengan inferensi batch:

• pada model bisikan: evaluasi whisper.ipynb
• pada bisikan dengan peft lora: evaluasi whisper-lora.ipynb
• On WAV2VEC Bert V2 Model: evaluasi-w2vbert.ipynb

Fine-Tune Whisper Tiny dengan pendekatan tradisional:

• Script: Whisper-kecil-traditional.ipynb
• Model dengan dievaluasi dengan: https://huggingface.co/doof-ferb/whisper-tiny-vi

Fine-Tine Whisper besar dengan peft-lora + int8:

• Script untuk 1 GPU: Whisper-large-lora.ipynb
• Script untuk multi-GPU menggunakan paralelisme data terdistribusi: Whisper-large-lora-ddp.ipynb
• Model dengan dievaluasi WER: https://huggingface.co/doof-ferb/whisper-garge-peft-lora-vi

(Pengujian-Tidak Selalu Bekerja) Fine-tune WAV2VEC V2 Bert: W2V-BERT-V2.IPYNB

Gambar Docker Untuk menjalankan AWS EC2: Dockerfile, hadir dengan skrip mandiri

Konversi ke openai-whisper , whisper.cpp , faster-whisper , onnx, tenorrt: belum

Lain -lain: Konversi ke format Audio HuggingFace Format

sumber daya

• https://huggingface.co/blog/fine-tune-whisper
• https://huggingface.co/blog/fine-tune-w2v2-bert
• Openai/Whisper#988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event-tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-toapply-pecaugment-to-a-whisper/40435/3
• https://deepgram.com/learn/whisper-v3-results