VinBERT

Vinbert

Vinbert adalah kombinasi dari dua model bahasa Vietnam yang kuat: Vintern-1B-V2 dan Phobert . Dengan Vinbert, kami membuat model bahasa yang dioptimalkan untuk melayani aplikasi dengan lebih baik dalam bahasa Vietnam, termasuk tugas -tugas seperti klasifikasi teks, ekstraksi entitas, dan banyak lagi.

Tujuan

• Vinbert memanfaatkan kekuatan Vintern-1B-V2 dan Phobert, memberikan efisiensi dan akurasi yang tinggi untuk aplikasi NLP Vietnam.
• Ini mendukung pelatihan terdistribusi pada beberapa GPU dan AWS Sagemaker Infrastructure, mengoptimalkan waktu dan sumber daya.

Pelatihan Dukungan

• CUDA : Data parallelism dan Model parallelism didukung dengan backend nccl
• XLA : Data parallelism didukung dengan backend xla

Persyaratan

• Akun AWS dengan akses ke Sagemaker.
• Lingkungan yang diatur untuk berinteraksi dengan AWS CLI dan Sagemaker.
• Anda memiliki kuota untuk menggunakan instance ml.p4d.24xlarge dan ml.trn1.32xlarge .

    pip install -r requirements.txt

Pelatihan Terdistribusi tentang GPU (AWS Sagemaker ml.p4d.24xlarge )

1. Siapkan Lingkungan : Tarik Docker Image Flash Attn Base dari Dockerhub: vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. Jalankan pekerjaan :
   • Konfigurasikan parameter seperti jenis instance, jumlah GPU, dan ukuran batch.
   • Jalankan perintah berikut untuk memulai pekerjaan:

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

Pelatihan dengan Flielium ( ml.trn1.32xlarge )

1. Jalankan pekerjaan :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO: Pelatihan pemantauan

• Menerapkan paralelisme tensor dengan neuronx_distributed

• Proses Pelatihan Pemantauan