fine tune whisper vi

Чиковая настройка шепота VI

Nopyter Notebooks для точных моделей Whisper на вьетнамцев с использованием Kaggle (также должны работать над Colab, но не протестированные)

Использование моей коллекции вьетнамских наборов данных речевых данных: https://huggingface.co/collections/doof-ferb/vietnamese-peech-dataset-65c6af8c15c9950537862fa6

NB1 импортируйте любой тренер или класс трубопроводов из transformers Crash Cash Kaggle TPU Session (см. Huggingface/Transformers#28609), так что лучше использовать графический процессор

NB2 Класс тренеров из transformers может автоматически использовать мульти-GPU, как Kaggle Free T4 × 2 без изменения кода По умолчанию используйте параллелизм наивного модели, который не может полностью использовать весь графический процессор в то же время, поэтому лучше использовать распределенные данные параллелизм

NB3 Используйте жадный поиск по умолчанию, потому что триггер поиска луча в использовании VRAM, который может вызвать вне памяти (оригинальный Whisper Используйте Num Beams = 5, что-то вроде do_sample=True, num_beams=5 )

NB4 , если используйте обучение Kaggle + Resume, не забудьте обеспечить постоянство файлов перед запуском

сценарии

Оценить точность (WER) с помощью пакетного вывода:

• на моделях Whisper: оцените-wheisper.ipynb
• На Whisper с Peft Lora: оценить-wheisper-lora.ipynb
• На Wav2VEC BERT V2 Модели: Оценка w2vbert.ipynb

Точно настройка шепотом крошечной с традиционным подходом:

• Скрипт: Whisper-Tyinary-traditional.ipynb
• модель с оценкой WER: https://huggingface.co/doof-ferb/whisper-tiny-vi

Чистое шепот, большой с Пефт-лора + Int8:

• Скрипт для 1 графического процессора: Whisper-Large-Lora.ipynb
• Скрипт для мульти-GPU с использованием распределенных данных Параллелизм: Whisper-Large-Lora-DDP.IPYNB
• Модель с оценкой WER: https://huggingface.co/doof-ferb/whisper-large-peft-lora-vi

(Тестирование-не всегда работает)

Docker Image для запуска на AWS EC2: Dockerfile, поставляется с автономными сценариями

конвертируйте в openai-whisper , whisper.cpp , faster-whisper , onnx, tensorrt: еще не

Разное: преобразовать в формат наборов данных AgugingFace Audio

ресурсы

• https://huggingface.co/blog/fine-tune-wisper
• https://huggingface.co/blog/fine-tune-w2v2-bert
• Openai/Whisper#988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event-tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-wisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-to-apply-pecaugment-to-a-whisper/40435/3
• https://deepgram.com/learn/whisper-v3-results