VinBERT

Vinbert

Vinbert ist eine Kombination aus zwei mächtigen vietnamesischen Sprachmodellen: Vintern-1b-V2 und Phobert . Mit Vinbert erstellen wir ein Sprachmodell, das optimiert ist, um Anwendungen in der vietnamesischen Sprache besser zu bedienen, einschließlich Aufgaben wie Textklassifizierung, Entitätsextraktion und vielem mehr.

Ziele

• Vinbert nutzt die Stärken von Vintern-1B-V2 und Phobert und bietet eine hohe Effizienz und Genauigkeit für vietnamesische NLP-Anwendungen.
• Es unterstützt verteilte Schulungen an mehreren GPUs und AWS -Sagemaker -Infrastrukturen und optimieren Sie Zeit und Ressourcen.

Unterstützungstraining

• CUDA : Data parallelism und Model parallelism werden mit Backend nccl unterstützt
• XLA : Data parallelism werden mit Backend xla unterstützt

Anforderungen

• Ein AWS -Konto mit Zugriff auf Sagemaker.
• Eine Umgebung, die mit AWS CLI und Sagemaker interagiert.
• Sie haben eine Quote, um ml.p4d.24xlarge und ml.trn1.32xlarge -Instanzen zu verwenden.

    pip install -r requirements.txt

Distributed Training an GPU (AWS Sagemaker ml.p4d.24xlarge )

1. Bereiten Sie die Umgebung vor : Ziehen Sie Docker Image Flash Attn Basis von DockerHub: vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. Führen Sie den Job aus :
   • Konfigurieren Sie Parameter wie Instanztyp, Anzahl der GPUs und Chargengröße.
   • Führen Sie den folgenden Befehl aus, um den Job zu initiieren:

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

Training mit Trainium ( ml.trn1.32xlarge )

1. Führen Sie den Job aus :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO: Überwachung des Trainings

• Implementieren Sie die Tensor -Parallelität mit neuronx_distributed

• Überwachung des Schulungsprozesses