VinBERT

빈버트

Vinbert는 Vintern-1B-V2 와 Phobert 의 두 가지 강력한 베트남어 언어 모델의 조합입니다. Vinbert를 통해 우리는 텍스트 분류, 엔터티 추출 등과 같은 작업을 포함하여 베트남어로 응용 프로그램을 더 잘 제공하기 위해 최적화 된 언어 모델을 만듭니다.

목표

• Vinbert는 Vintern-1B-V2 및 Phobert의 강점을 활용하여 베트남 NLP 애플리케이션에 고효율과 정확도를 제공합니다.
• 다중 GPU 및 AWS SAGEMAKER 인프라에 대한 분산 교육을 지원하여 시간과 리소스를 최적화합니다.

교육 교육

• CUDA : Data parallelism 및 Model parallelism 백엔드 nccl 에서 지원됩니다.
• XLA : Data parallelism 백엔드 xla 와 함께 지원됩니다

요구 사항

• Sagemaker에 액세스 할 수있는 AWS 계정.
• AWS CLI 및 Sagemaker와 상호 작용하도록 설정된 환경.
• ml.p4d.24xlarge 및 ml.trn1.32xlarge 인스턴스를 사용하는 할당량이 있습니다.

    pip install -r requirements.txt

GPU에 대한 분산 교육 (AWS SAGEMAKER ml.p4d.24xlarge )

1. 환경 준비 : DockerHub : vantufit/flash-attn-cuda 에서 Docker Image Flash Attn Base를 당기십시오.

docker pull vantufit/flash-attn-cuda

2. 작업 실행 :
   • 인스턴스 유형, GPU 수 및 배치 크기와 같은 매개 변수를 구성합니다.
   • 작업을 시작하려면 다음 명령을 실행하십시오.

    export INSTANCE = ml . p4d . 24 xlarge
   python training . py

트레이닝 훈련 ( ml.trn1.32xlarge )

1. 작업 실행 :

    export INSTANCE = ml . trn1 . 32 xlarge
   python training . py

TODO : 모니터링 교육

• neuronx_distributed 와 함께 텐서 병렬 처리를 구현하십시오

• 교육 과정 모니터링