VinBERT

فينبرت

Vinbert هو مزيج من نموذجين من اللغة الفيتنامية القوية: Vintern-1B-V2 و Phobert . مع Vinbert ، نقوم بإنشاء نموذج لغوي محسن لخدمة التطبيقات بشكل أفضل في اللغة الفيتنامية ، بما في ذلك مهام مثل تصنيف النص واستخراج الكيان والمزيد.

أهداف

• يقوم Vinbert بتعزيز نقاط قوة Vintern-1B-V2 و Phobert ، مما يوفر كفاءة عالية ودقة لتطبيقات NLP الفيتنامية.
• وهو يدعم التدريب الموزع على العديد من وحدات معالجة الرسومات و AWS Sagemaker ، مما يؤدي إلى تحسين الوقت والموارد.

دعم التدريب

• CUDA : يتم دعم Data parallelism Model parallelism مع الخلفية nccl
• XLA : يتم دعم Data parallelism مع الواجهة الخلفية xla

متطلبات

• حساب AWS مع الوصول إلى Sagemaker.
• تم إعداد بيئة للتفاعل مع AWS CLI و Sagemaker.
• لديك حصص لاستخدام مثيلات ml.p4d.24xlarge و ml.trn1.32xlarge .

    pip install -r requirements.txt

التدريب الموزع على GPU (AWS Sagemaker ml.p4d.24xlarge )

1. قم بإعداد البيئة : سحب قاعدة Docker Flash ATTN من DockerHub: vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. تشغيل الوظيفة :
   • تكوين المعلمات مثل نوع المثيل وعدد وحدات معالجة الرسومات وحجم الدُفعة.
   • قم بتشغيل الأمر التالي لبدء الوظيفة:

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

التدريب مع التدريب ( ml.trn1.32xlarge )

1. تشغيل الوظيفة :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO: مراقبة التدريب

• تنفيذ التوازي التوتر مع neuronx_distributed

• مراقبة عملية التدريب