fine tune whisper vi

ปรับแต่ง Whisper VI

Jupyter Notebooks เพื่อปรับแต่งเสียงกระซิบแบบปรับแต่งบนเวียดนามโดยใช้ Kaggle (ควรทำงานกับ colab แต่ไม่ผ่านการทดสอบ)

การใช้ชุดข้อมูลคำพูดภาษาเวียดนามของฉัน: https://huggingface.co/collections/doof-ferb/vietnamese-speech-dataset-65C6AF8C15C9950537862FA6

NB1 นำเข้าเทรนเนอร์หรือคลาสไปป์ไลน์ใด ๆ จาก transformers Crash Kaggle TPU เซสชัน (ดู HuggingFace/Transformers#28609) ดังนั้นให้ใช้ GPU ให้ดีขึ้น

NB2 คลาสเทรนเนอร์จาก transformers สามารถใช้ Multi-GPU ได้โดยอัตโนมัติเช่น Kaggle Free T4 × 2 โดยไม่ต้องเปลี่ยนรหัส โดยค่าเริ่มต้นเทรนเนอร์ใช้โมเดลที่ไร้เดียงสาซึ่งไม่สามารถใช้ GPU ทั้งหมดได้อย่างเต็มที่ในเวลาเดียวกัน

NB3 ใช้การค้นหาโลภเริ่มต้นเนื่องจากการค้นหาลำแสงทำให้เกิดการขัดขวางในการใช้ VRAM ซึ่งอาจทำให้เกิดความทรงจำ (เสียงกระซิบดั้งเดิมใช้ NUM Beams = 5, บางอย่างเช่น do_sample=True, num_beams=5 )

NB4 หากใช้การฝึกอบรม Kaggle + Resume อย่าลืมเปิดใช้งานการคงอยู่ของไฟล์ก่อนที่จะเปิดตัว

สคริปต์

ประเมินความถูกต้อง (WER) ด้วยการอนุมานแบบแบตช์:

• เกี่ยวกับโมเดล Whisper: Evaluate-whisper.ipynb
• บน Whisper with Peft Lora: ประเมิน-Whisper-lora.ipynb
• บน WAV2VEC BERT V2 แบบจำลอง: ประเมิน w2vbert.ipynb

ปรับแต่งเสียงกระซิบเล็ก ๆ ด้วยวิธีการดั้งเดิม:

• สคริปต์: Whisper-tiny-traditional.ipynb
• แบบจำลองที่มีการประเมิน WER: https://huggingface.co/doof-ferb/whisper-tiny-vi

กระซิบแบบละเอียดขนาดใหญ่กับ Peft-lora + int8:

• สคริปต์สำหรับ 1 gpu: กระซิบ-ใหญ่ lora.ipynb
• สคริปต์สำหรับ multi-gpu โดยใช้ข้อมูลแบบขนานแบบกระจาย: กระซิบขนาดใหญ่-lora-ddp.ipynb
• แบบจำลองที่มีการประเมิน WER: https://huggingface.co/doof-ferb/whisper-large-peft-lora-vi

(การทดสอบ-ไม่ทำงานเสมอไป) ปรับแต่ง wav2vec v2 bert: w2v-bert-v2.ipynb

Docker Image เพื่อทำงานบน AWS EC2: DockerFile มาพร้อมกับสคริปต์แบบสแตนด์อโลน

แปลงเป็น openai-whisper , whisper.cpp , faster-whisper , Onnx, Tensorrt: ยังไม่ได้

เบ็ดเตล็ด: แปลงเป็นรูปแบบชุดข้อมูล Audio HuggingFace

ทรัพยากร

• https://huggingface.co/blog/fine-tune-whisper
• https://huggingface.co/blog/fine-tune-w2v2-bert
• Openai/Whisper#988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event-tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-to-apply-specaugment-to-a-whisper/40435/3
• https://deepgram.com/learn/whisper-v3-results