VinBERT

Винберт

Винберт представляет собой комбинацию двух мощных моделей вьетнамского языка: Vintern-1B-V2 и Phobert . С Vinbert мы создаем языковую модель, оптимизированную для лучшего обслуживания приложений на вьетнамском языке, включая такие задачи, как классификация текста, извлечение сущности и многое другое.

Цели

• Винберт использует сильные стороны Vintern-1B-V2 и Phobert, обеспечивая высокую эффективность и точность для вьетнамских применений NLP.
• Он поддерживает распределенную подготовку по нескольким графическим процессорам и инфраструктуре SageMaker AWS, оптимизируя время и ресурсы.

Поддержка обучения

• CUDA : Data parallelism и Model parallelism поддерживаются Backend nccl
• XLA : Data parallelism поддерживается с бэкэнд xla

Требования

• Аккаунт AWS с доступом к SageMaker.
• Среда, созданная для взаимодействия с AWS CLI и SageMaker.
• У вас есть квота для использования экземпляров ml.p4d.24xlarge и ml.trn1.32xlarge .

    pip install -r requirements.txt

Распределенное обучение по графическому процессору (AWS SageMaker ml.p4d.24xlarge )

1. Подготовьте среду : Потяните Docker Image Flash Base Attn Base от Dockerhub: vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. Запустите работу :
   • Настройте параметры, такие как тип экземпляра, количество графических процессоров и размер партии.
   • Запустите следующую команду, чтобы инициировать задание:

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

Обучение с Tradium ( ml.trn1.32xlarge )

1. Запустите работу :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO: мониторинг обучения

• Реализовать тензорный параллелизм с neuronx_distributed

• Мониторинг процесса обучения