fine tune whisper vi

ささやきviを微調整します

Kaggleを使用してベトナムのささやきモデルを微調整するJupyterノート

私のベトナム語の音声データセットのコレクション：https：//huggingface.co/collections/doof-ferb/vietnamesepeech-dataset-65c6af8c15c9950537862fa6

NB1 transformersからトレーナーまたはパイプラインクラスをインポートするクラッシュKaggle TPUセッション（Huggingface/Transformers＃28609を参照）

NB2 transformersからのトレーナークラスは、コード変更なしでKaggle Free T4×2のようにマルチGPUを自動使用できますデフォルトでは、トレーナーを使用して、すべてのGPUを同時に完全に使用できないナイーブモデルの並列性を使用するため、分散データの平行使用をより適切に使用する

nb3はデフォルトの貪欲な検索を使用します。ビーム検索は、メモリ外を引き起こす可能性のあるVRAM使用のスパイクをトリガーするためです（オリジナルのささやきはnum beams = 5、 do_sample=True, num_beams=5のようなものです）

NB4 Kaggle +履歴書トレーニングを使用する場合、起動する前にファイルの永続性を有効にすることを忘れないでください

スクリプト

バッチ付き推論で精度（WER）を評価します。

• ささやきモデル：evaluate-whisper.ipynb
• Peft loraでささやき：evaluate-whisper-lora.ipynb
• wav2vec bert v2モデルについて：evaluate-w2vbert.ipynb

Tinyを伝統的なアプローチで微調整します：

• スクリプト：Whisper-Tiny-Traditional.ipynb
• 評価されたモデル：https：//huggingface.co/doof-ferb/whisper-tiny-vi

PEFT-LORA + INT8で大きなタインささやき大きい：

• 1 GPUのスクリプト：Whisper-Large-Lora.ipynb
• 分散データ並列性を使用したマルチGPUのスクリプト：whisper-large-lora-ddp.ipynb
• 評価されたモデル：https：//huggingface.co/doof-ferb/whisper-large-peft-lora-vi

（テスト - 常に動作しているとは限り）WAV2VEC V2 BERT：W2V-BERT-V2.IPYNB

AWS EC2：dockerfileで実行するDocker画像には、スタンドアロンスクリプトが付属しています

openai-whisper 、 whisper.cpp 、 faster-whisper 、onnx、tensortに変換する：まだない

その他：Huggingfaceオーディオデータセット形式に変換します

リソース

• https://huggingface.co/blog/fine-tune-whisper
• https://huggingface.co/blog/fine-tune-w2v2-bert
• Openai/Whisper＃988
• https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
• https://github.com/vasistalodagala/whisper-finetune
• https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
• https://github.com/krylm/whisper-event-tuning
• https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
• https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
• https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
• https://discuss.huggingface.co/t/how-to-apply-pecaugment-to-a-whisper/40435/3
• https://deepgram.com/learn/whisper-v3-sults