fine tune whisper vi

Tune fino Whisper VI

Notebooks de Jupyter para modelos de sussurros de ajuste fino em vietnamita usando kaggle (também deve funcionar no Colab, mas não muito testado)

Usando minha coleção de conjuntos de dados de fala vietnamita: https://huggingface.co/collections/doof-ferb/vietnamese-speech-dataset-65c6af8c15c9950537862fa6

NB1 Importar qualquer treinador ou classe de tubulação de transformers Crash Kaggle TPU Sessão (consulte Huggingface/Transformers#28609) Então, melhor, use GPU

NB2 A classe de treinador da transformers pode usar automaticamente a Multi-GPU como Kaggle Free T4 × 2 sem mudança de código Por padrão, o treinador usa o paralelismo do modelo ingênuo que não pode usar totalmente toda a GPU ao mesmo tempo, portanto, melhor use o paralelismo de dados distribuídos

NB3 Use a pesquisa gananciosa padrão, porque a pesquisa de feixes aciona um pico no uso de VRAM que pode causar fora da memória (Whisper original use BEAMs num = 5, algo como do_sample=True, num_beams=5 )

NB4 Se usar o treinamento Kaggle + retomar, lembre -se de ativar a persistência de arquivos antes de iniciar

scripts

Avalie a precisão (WER) com inferência em lotes:

• Sobre modelos de sussurros: avalie whisper.ipynb
• no sussurro com peft lora: avaliar whisper-lora.ipynb
• Nos modelos wav2vec bert v2: avaliar w2vbert.ipynb

Sussurro de ajuste fina com abordagem tradicional:

• Script: Whisper Tiny-traditional.ipynb
• Modelo com WER Avaliado: https://huggingface.co/doof-ferb/whisper-tiny-vi

sussurro de tinho fino grande com peft-lora + int8:

• Script para 1 GPU: Whisper-Large-lora.ipynb
• Script para Multi-GPU usando dados distribuídos paralelismo: sussurro-large-lora-ddp.ipynb
• Modelo com WER avaliado: https://huggingface.co/doof-ferb/whisper-large-peft-lora-vi

(Teste-Nem sempre funcionando) Tune fino wav2vec v2 bert: w2v-bert-v2.ipynb

Docker Image para ser executado no AWS EC2: Dockerfile, vem com scripts independentes

converter para openai-whisper , whisper.cpp , faster-whisper , Onnx, Tensorrt: Ainda não

Diversos: Converter para o Formato de conjuntos de dados de áudio Huggingface

recursos

• https://huggingface.co/blog/fine-tune-whisper
• https://huggingface.co/blog/fine-une-w2v2-bert
• Openai/Whisper#988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event-tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nshh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-to-apply-spechaugment-to--whisper/40435/3
• https://deepgram.com/learn/whisper-v3-results