fine tune whisper vi

Susurro VI

Notebooks Jupyter para ajustar modelos Whisper en vietnamitas usando Kaggle (también debería funcionar en Colab pero no probado a través de todo

Usando mi colección de conjuntos de datos de discurso vietnamita: https://huggingface.co/collections/doof-ferb/vietnamese-speech-dataset-65c6af8c15c9950537862fa6

NB1 Importar cualquier entrenador o clase de tubería de transformers Crash Kaggle TPU Sesión (consulte Huggingface/Transformers#28609) Por lo tanto, use mejor GPU

NB2 La clase de entrenador de transformers puede usar automáticamente múltiples GPU como Kaggle Free T4 × 2 sin cambio de código Por defecto, el entrenador use el paralelismo de modelo ingenuo que no puede usar completamente toda la GPU al mismo tiempo, por lo que utiliza mejor el paralelismo de datos distribuidos

NB3 Use la búsqueda codiciosa predeterminada, porque la búsqueda del haz desencadena un pico en el uso de VRAM que puede causar fuera de memoria (susurros originales use vigas num = 5, algo como do_sample=True, num_beams=5 )

NB4 Si use la capacitación de currículum Kaggle +, recuerde habilitar la persistencia de los archivos antes de iniciar

guiones

Evaluar la precisión (WER) con inferencia por lotes:

• En modelos Whisper: evaluar-whisper.ipynb
• en Whisper con Peft Lora: Evaluate-Whisper-Lora.ipynb
• En WAV2VEC Bert V2 Modelos: evaluar w2vbert.ipynb

Susurro Fino Whisper con un enfoque tradicional:

• Script: Whisper-Diminy-Tradicional.ipynb
• Modelo con Wer: https://huggingface.co/doof-ferb/whisper-tiny-vi

Susurro Fino Tine grande con Peft-Lora + Int8:

• Script para 1 GPU: Whisper-Large-Lora.ipynb
• Script para multi-GPU utilizando el paralelismo de datos distribuidos: Whisper-Large-Lora-DDP.IPYNB
• modelo con wer evaluado: https://huggingface.co/doof-ferb/whisper-large-peft-lora-vi

(Pruebas: no siempre funcionan) WAV2VEC V2 Bert: W2V-Bert-V2.IPYNB

Docker Image to Run en AWS EC2: Dockerfile, viene con scripts independientes

Convertir a openai-whisper , whisper.cpp , faster-whisper , onnx, tensorrt: aún no

Varios: Convertir en formato de conjuntos de datos de audio de Huggingface

recursos

• https://huggingface.co/blog/fine-tune-whisper
• https://huggingface.co/blog/fine-tune-w2v2-bert
• OpenAI/Whisper#988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-to-apply-spaugment-to-a-a-whisper/40435/3
• https://deepgram.com/learn/whisper-v3-results