fine tune whisper vi

chuchotement avalé VI

cahiers Jupyter pour affiner les modèles de chuchotement sur les vietnamiens en utilisant Kaggle (devrait également fonctionner sur Colab mais pas très testé)

Utilisation de ma collection d'ensembles de données de discours vietnamiens: https://huggingface.co/collections/doof-ferb/vietnamise-speech-dataset-65c6af8c15c9950537862fa6

NB1 Importez un entraîneur ou une classe de pipeline à partir de transformers Crash Kaggle TPU Session (voir HuggingFace / Transformers # 28609) donc mieux utiliser GPU

Nb2 La classe des entraîneurs de transformers peut automatiquement utiliser le multi-GPU comme Kaggle Free T4 × 2 sans changement de code Par défaut, le formateur utilise un parallélisme de modèle naïf qui ne peut pas utiliser complètement tout le GPU en même temps, donc mieux utiliser le parallélisme de données distribuées

NB3 utilise la recherche gourmand par défaut, car la recherche de faisceau déclenche une pointe dans l'utilisation de VRAM qui peut provoquer une mémoire (chuchotement d'origine utilise num Beams = 5, quelque chose comme do_sample=True, num_beams=5 )

NB4 Si vous utilisez la formation Kaggle + CV, n'oubliez pas d'activer la persistance des fichiers avant le lancement

scripts

Évaluer la précision (WER) avec une inférence lot:

• Sur les modèles Whisper: Evaluate-Whisper.Ipynb
• Sur Whisper avec Peft Lora: Evaluate-Whisper-Lora.ipynb
• Sur les modèles WAV2Vec Bert V2: Evaluer-W2Vbert.Ipynb

Fineur Whisper Tiny avec une approche traditionnelle:

• Script: Whisper-Tiny-traditional.ipynb
• Modèle avec évalué Wer: https://huggingface.co/doof-ferb/whisper-tiny-vi

chuchotement fin avec PEFT-LORA + INT8:

• Script pour 1 GPU: Whisper-Large-Lora.Ipynb
• Script pour le multi-GPU à l'aide de données distribuées parallélisme: Whisper-Large-Lora-ddp.ipynb
• Modèle avec évalué Wer: https://huggingface.co/doof-ferb/whisper-large-peft-lorea-vi

(Test - ne fonctionnant pas toujours) Finez WAV2VEC V2 Bert: W2V-BERT-V2.Ipynb

Docker Image pour fonctionner sur AWS EC2: Dockerfile, est livré avec des scripts autonomes

Convertir en openai-whisper , whisper.cpp , faster-whisper , onnx, Tensorrt: pas encore

DIVERS: Convertir en format de jeu de données audio HuggingFace

ressources

• https://huggingface.co/blog/fine-tune-whisper
• https://huggingface.co/blog/fine-tune-w2v2-bert
• Openai / Whisper # 988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event-tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-to-apply-specaugment-to-a-whisper/40435/3
• https://deepgram.com/learn/whisper-v3-results