VinBERT

Vinbert

Vinbert是兩種強大的越南語言模型的組合： Vintern-1B-V2和Phobert 。使用Vinbert，我們創建了一種優化的語言模型，以更好地為越南語言提供應用程序，包括文本分類，實體提取等任務。

目標

• Vinbert利用Vintern-1B-V2和Phobert的優勢，為越南NLP應用提供了高效率和準確性。
• 它支持多個GPU和AWS Sagemaker基礎架構的分佈培訓，以優化時間和資源。

支持培訓

• CUDA ：支持後端nccl支持Data parallelism和Model parallelism
• XLA ：支持後端xla支持Data parallelism

要求

• 一個AWS帳戶，可訪問SageMaker。
• 建立的環境與AWS CLI和Sagemaker互動。
• 您有配額可以使用ml.p4d.24xlarge和ml.trn1.32xlarge實例。

    pip install -r requirements.txt

GPU的分佈培訓（AWS SageMaker ml.p4d.24xlarge ）

1. 準備環境：從dockerhub出發的docker映像flash attn base： vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. 運行工作：
   • 配置參數，例如實例類型，GPU的數量和批處理大小。
   • 運行以下命令來啟動工作：

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

火車培訓（ ml.trn1.32xlarge ）

1. 運行工作：

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO：監視培訓

• 用neuronx_distributed實現張量並行

• 監視培訓過程