الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

يهمس الدعامة السادس

دفاتر Jupyter لضبط نماذج الهمس على الفيتناميين باستخدام Kaggle (يجب أن تعمل أيضًا على كولاب ولكن ليس من خلال الاختبار)

باستخدام مجموعتي من مجموعات بيانات الكلام الفيتنامية: https://huggingface.co/collections/doof-ferb/vietnamese-spheade-dataset-65c6af8c15c950537862fa6

استيراد NB1 أي مدرب أو فئة خطوط أنابيب من transformers Crash Kaggle TPU جلسة (انظر Huggingface/Transformers#28609) لذلك أفضل استخدام GPU

NB2 يمكن لفئة المدرب من transformers استخدام Multi-GPU مثل Kaggle Free T4 × 2 دون تغيير التعليمات البرمجية بشكل افتراضي ، استخدم التوازي النموذج الساذج الذي لا يمكنه استخدام جميع وحدة معالجة الرسومات في نفس الوقت ، لذلك استخدم بشكل أفضل توازى البيانات الموزعة

NB3 استخدم البحث الجشع الافتراضي ، لأن بحث الشعاع يؤدي إلى ارتفاع في استخدام VRAM والذي قد يتسبب في خارج الذاكرة (Whisper Original استخدم Beams = 5 ، شيء مثل do_sample=True, num_beams=5 )

NB4 إذا استخدم تدريب Kaggle + السيرة الذاتية ، تذكر تمكين استمرار الملفات قبل الإطلاق

البرامج النصية

تقييم الدقة (WER) مع الاستدلال المدمن:

  • على نماذج الهمس: تقييم-whisper.ipynb
  • على الهمس مع Peft Lora: تقييم-whisper-lora.ipynb
  • على نماذج WAV2VEC BERT V2: تقييم w2vbert.ipynb

يهمس الدعامة الصغيرة مع النهج التقليدي:

  • السيناريو: الهمس-ترتيلي التقليدية
  • نموذج مع تقييم WER: https://huggingface.co/doof-ferb/whisper-tiny-vi

يهمس الرعاة الكبير مع peft-lora + int8:

  • البرنامج النصي لـ 1 GPU: Whisper-large-lora.ipynb
  • البرنامج النصي لـ Multi-GPU باستخدام موازاة البيانات الموزعة: Whisper-large-lora-ddp.ipynb
  • نموذج مع تقييم WER: https://huggingface.co/doof-ferb/whisper-large-peft-lora-vi

(اختبار-لا يعمل دائمًا) WAV2VEC V2 Bert: W2V-Bert-V2.ipynb

صورة Docker لتشغيلها على AWS EC2: Dockerfile ، تأتي مع نصوص مستقلة

تحويل إلى openai-whisper ، whisper.cpp ، faster-whisper ، Onnx ، Tensorrt: ليس بعد بعد

متنوعة: تحويل إلى تنسيق مجموعات بيانات الصوت المعانقة

موارد

  • https://huggingface.co/blog/fine-tune-whisper
  • https://huggingface.co/blog/fine-tune-w2v2-bert
  • Openai/Whisper#988
  • https://github.com/huggingface/peft/blob/main/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb
  • https://github.com/vasistalodagala/whisper-finetune
  • https://github.com/huggingface/community-events/tree/main/whisper-fine-tuning-event
  • https://github.com/krylm/whisper-event-tuning
  • https://www.kaggle.com/code/leonidkulyk/train-infer-mega-pack-wav2vec2-whisper-qlora
  • https://github.com/huggingface/transformers/blob/main/examples/pytorch/speech-recognition/run_speech_recognition_seq2seq.py
  • https://alphacephei.com/nsh/2023/01/15/whisper-finetuning.html
  • https://discuss.huggingface.co/t/how-to-apply-specaugment-to-a-whisper/40435/3
  • https://deepgram.com/learn/whisper-v3-results
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل