fine tune whisper vi

미세 조정 속삭임 VI

Kaggle을 사용하여 베트남어의 Whisper 모델을 미세 조정하기위한 Jupyter 노트

베트남어 연설 데이터 세트 컬렉션 : https://huggingface.co/collections/vietnamese-speech-dataset-65c6af8c15c9950537862fa6

NB1 transformers Crash Kaggle TPU 세션에서 트레이너 또는 파이프 라인 클래스 가져 오기 (Huggingface/Transformers#28609 참조) GPU를 더 잘 사용하십시오.

NB2 transformers 의 트레이너 클래스는 코드 변경없이 Kaggle Free T4 × 2와 같은 멀티 GPU를 자동으로 사용할 수 있습니다. 기본적으로 트레이너는 모든 GPU를 동시에 완전히 사용할 수없는 순진한 모델 병렬 처리를 사용하므로 분산 데이터 병렬 처리를 더 잘 사용하십시오.

NB3 기본 탐욕 검색을 사용하십시오. 빔 검색은 메모리 외 유전자를 유발할 수있는 VRAM 사용의 스파이크를 트리거하기 때문에 (원래 속삭임 NUM BEAMS = 5, do_sample=True, num_beams=5 ).

NB4 Kaggle + 이력서 교육을 사용하는 경우, 출시하기 전에 파일 지속성을 활성화해야합니다.

스크립트

배치 된 추론으로 정확도 (WER)를 평가하십시오.

• 속삭임 모델 : 평가 -whisper.ipynb
• PEFT LORA와의 속삭임 : 평가-whisper-lora.ipynb
• WAV2VEC BERT V2 모델 : 평가 -W2VBERT.IPYNB

전통적인 접근 방식으로 미세 조정 속삭임 :

• 스크립트 : Whisper-Tiny-Traditional.ipynb
• 평가 된 모델 : https://huggingface.co/doof-ferb/whisper-tiny-vi

PEFT-LORA + int8과 함께 큰 미세 틴 속삭임 :

• 1 GPU의 스크립트 : Whisper-Large-Lora.ipynb
• 분산 데이터 병렬 처리를 사용한 멀티 -GPU 스크립트 : Whisper-Large-Lora-DDP.ipynb
• 평가 된 모델 : https://huggingface.co/doof-ferb/whisper-large-peft-lora-vi

(테스트-항상 작동하지 않음) 미세 조정 WAV2VEC V2 BERT : W2V-Bert-v2.ipynb

AWS EC2 : DockerFile에서 실행할 Docker Image, 독립형 스크립트와 함께 제공됩니다.

openai-whisper , whisper.cpp , faster-whisper , Onnx, Tensorrt로 변환 : 아직 아님

기타 : Huggingface 오디오 데이터 세트 형식으로 변환

자원

• https://huggingface.co/blog/fine-tune-whisper
• https://huggingface.co/blog/fine-tune-w2v2-bert
• Openai/Whisper#988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event-tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-to-apply-pecaugment-to--whisper/40435/3
• https://deepgram.com/learn/whisper-v3-20