VinBERT

Vinbert

Vinbert เป็นการผสมผสานระหว่างสองรูปแบบภาษาเวียดนามที่ทรงพลัง: Vintern-1b-V2 และ Phobert ด้วย Vinbert เราสร้างแบบจำลองภาษาที่ได้รับการปรับให้เหมาะสมเพื่อให้บริการแอพพลิเคชั่นในภาษาเวียดนามได้ดีขึ้นรวมถึงงานต่าง ๆ เช่นการจำแนกข้อความการสกัดเอนทิตีและอื่น ๆ

วัตถุประสงค์

• Vinbert ใช้ประโยชน์จากจุดแข็งของ Vintern-1B-V2 และ Phobert ซึ่งให้ประสิทธิภาพและความแม่นยำสูงสำหรับการใช้งาน NLP เวียดนาม
• รองรับการฝึกอบรมแบบกระจายเกี่ยวกับโครงสร้างพื้นฐาน GPU หลายตัวและ AWS Sagemaker การเพิ่มประสิทธิภาพเวลาและทรัพยากร

สนับสนุนการฝึกอบรม

• CUDA : Data parallelism และ Model parallelism ได้รับการสนับสนุนด้วยแบ็กเอนด์ nccl
• XLA : รองรับ Data parallelism ด้วย Backend xla

ความต้องการ

• บัญชี AWS ที่มีการเข้าถึง Sagemaker
• สภาพแวดล้อมที่ตั้งขึ้นเพื่อโต้ตอบกับ AWS CLI และ Sagemaker
• คุณมีโควต้าเพื่อใช้ ml.p4d.24xlarge และ ml.trn1.32xlarge อินสแตนซ์

    pip install -r requirements.txt

การฝึกอบรมแบบกระจายเกี่ยวกับ GPU (AWS Sagemaker ml.p4d.24xlarge )

1. เตรียมสภาพแวดล้อม : ดึงภาพแฟลชอิมเมจ Docker จาก Dockerhub: vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. ทำงาน :
   • กำหนดค่าพารามิเตอร์เช่นประเภทอินสแตนซ์จำนวน GPU และขนาดแบทช์
   • เรียกใช้คำสั่งต่อไปนี้เพื่อเริ่มงาน:

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

การฝึกอบรมกับ Trainium ( ml.trn1.32xlarge )

1. ทำงาน :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO: การติดตามการฝึกอบรม

• ใช้ Tensor Parallelism ด้วย neuronx_distributed

• การติดตามกระบวนการฝึกอบรม