VinBERT

Vinbert

Vinbert es una combinación de dos poderosos modelos de idiomas vietnamitas: Vintern-1B-V2 y Phobert . Con Vinbert, creamos un modelo de idioma optimizado para servir mejor a las aplicaciones en el idioma vietnamita, incluidas tareas como la clasificación de texto, la extracción de entidades y más.

Objetivos

• Vinbert aprovecha las fortalezas de Vintern-1B-V2 y Phobert, proporcionando una alta eficiencia y precisión para las aplicaciones de PNL vietnamitas.
• Admite capacitación distribuida en múltiples GPU y la infraestructura de Sagemaker de AWS, optimizando el tiempo y los recursos.

Capacitación de apoyo

• CUDA : Data parallelism y Model parallelism se apoyan con el backend nccl
• XLA : Data parallelism se admite con Backend xla

Requisitos

• Una cuenta de AWS con acceso a Sagemaker.
• Un entorno creado para interactuar con AWS CLI y Sagemaker.
• Tiene una cuota para usar ml.p4d.24xlarge y ml.trn1.32xlarge Instancias.

    pip install -r requirements.txt

Capacitación distribuida en GPU (AWS Sagemaker ml.p4d.24xlarge )

1. Prepare el entorno : Pull Docker Image Flash Attn Base de Dockerhub: vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. Ejecutar el trabajo :
   • Configure parámetros como el tipo de instancia, el número de GPU y el tamaño de lotes.
   • Ejecute el siguiente comando para iniciar el trabajo:

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

Entrenamiento con Entrenium ( ml.trn1.32xlarge )

1. Ejecutar el trabajo :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO: capacitación de monitoreo

• Implementar el paralelismo tensor con neuronx_distributed

• Proceso de capacitación de monitoreo