VinBERT

Vinbert

Vinbert é uma combinação de dois poderosos modelos de idiomas vietnamitas: Vintern-1B-V2 e Phobert . Com Vinbert, criamos um modelo de idioma otimizado para servir melhor aplicativos no idioma vietnamita, incluindo tarefas como classificação de texto, extração de entidades e muito mais.

Objetivos

• Vinbert aproveita os pontos fortes de Vintern-1B-V2 e Phobert, fornecendo alta eficiência e precisão para aplicações de PNL vietnamita.
• Ele suporta treinamento distribuído em várias GPUs e infraestrutura de Sagemaker da AWS, otimizando o tempo e os recursos.

Treinamento de suporte

• CUDA : Data parallelism e Model parallelism são suportados com nccl de back -end
• XLA : Data parallelism é suportado com o back -end xla

Requisitos

• Uma conta da AWS com acesso ao Sagemaker.
• Um ambiente criado para interagir com a AWS CLI e Sagemaker.
• Você tem cota para usar as instâncias ml.p4d.24xlarge e ml.trn1.32xlarge .

    pip install -r requirements.txt

Treinamento distribuído na GPU (AWS Sagemaker ml.p4d.24xlarge )

1. Prepare o ambiente : Pull Docker Image Flash Attn Base do DockerHub: vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. Execute o trabalho :
   • Configure parâmetros como tipo de instância, número de GPUs e tamanho do lote.
   • Execute o seguinte comando para iniciar o trabalho:

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

Treinamento com Trainium ( ml.trn1.32xlarge )

1. Execute o trabalho :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO: Monitoramento do treinamento

• Implementar paralelismo tensor com neuronx_distributed

• Monitoramento do processo de treinamento