VinBERT

ヴィンバート

Vinbertは、 Vintern-1B-V2とPhobertの2つの強力なベトナム語モデルの組み合わせです。 Vinbertを使用すると、テキスト分類、エンティティ抽出などのタスクなど、ベトナム語のアプリケーションをより適切にサービスを提供するように最適化された言語モデルを作成します。

目的

• Vinbertは、Vintern-1B-V2とPhobertの強度を活用しており、ベトナムのNLPアプリケーションの効率と精度を高めています。
• 複数のGPUおよびAWSセージメーカーのインフラストラクチャに関する分散トレーニングをサポートし、時間とリソースを最適化します。

サポートトレーニング

• CUDA ： Data parallelismとModel parallelismバックエンドncclでサポートされています
• XLA ： Data parallelismバックエンドxlaでサポートされています

要件

• SagemakerにアクセスできるAWSアカウント。
• AWS CLIおよびSagemakerと対話するために設定された環境。
• ml.p4d.24xlargeおよびml.trn1.32xlargeインスタンスを使用するクォータがあります。

    pip install -r requirements.txt

GPUの分散トレーニング（AWS ml.p4d.24xlarge ）

1. 環境の準備：DockerHubからDockerイメージフラッシュattnベースをプル： vantufit/flash-attn-cuda

docker pull vantufit/flash-attn-cuda

2. 仕事をする：
   • インスタンスタイプ、GPUの数、バッチサイズなどのパラメーターを構成します。
   • 次のコマンドを実行してジョブを開始します。

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

トレーニングでのトレーニング（ ml.trn1.32xlarge ）

1. 仕事をする：

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO：監視トレーニング

• neuronx_distributedを使用したテンソル並列性を実装します

• 監視トレーニングプロセス