libai

리바이

소개

영어 | 简体中文

Libai는 OneFlow를 기반으로하는 대규모 오픈 소스 모델 교육 도구 상자입니다. 메인 브랜치는 OneFlow 0.7.0으로 작동합니다.

하이라이트

• 병렬 교육 구성 요소 모음을 지원합니다

  Libai는 데이터 병렬 처리, 텐서 병렬 처리 및 파이프 라인 병렬 처리와 같은 여러 병렬 처리를 제공합니다. 다른 새로운 병렬 처리에도 확장 가능합니다.

• 다양한 교육 기술

  Libai는 분산 훈련, 혼합 정밀 훈련, 활성화 체크 포인팅, 재 계산, 그라디언트 축적 및 제로 중복 최적화기 (0)와 같은 많은 상자 교육 기술을 제공합니다.

• CV 및 NLP 작업 모두 지원합니다

  Libai는 CIFAR, Imagenet 및 Bert 데이터 세트와 같은 CV 및 NLP 데이터 세트 모두에 대한 사전 정의 된 데이터 프로세스를 가지고 있습니다.

• 사용하기 쉽습니다

  Libai의 구성 요소는 다음과 같이 더 쉽게 사용하기 위해 모듈화되도록 설계되었습니다.

  • 보다 유연한 구문 및 사전 정의 된 구조가없는 LazyConfig 시스템
  • 친절한 트레이너와 엔진
  • 연구 프로젝트를 구축하기 위해 도서관으로 사용됩니다. Libai를 기반으로 구축 된 일부 프로젝트는 프로젝트를 참조하십시오.

• 고효율

설치

설치 지침을 참조하십시오.

시작하기

Libai의 기본 사용에 대해서는 빠른 실행을 참조하십시오.

선적 서류 비치

전체 API 문서 및 튜토리얼은 Libai의 문서를 참조하십시오.

changelog

베타 0.3.0은 2024 년 3 월 11 일에 출시되었으며 0.3.0 버전의 일반적인 변화는 다음과 같습니다.

특징:

• 모의 변압기를지지하고 모의 변압기를 참조하십시오
• 모델 평가를위한 LM-Evaluation-Harness를 지원합니다
• 사용자 경험 최적화

새로운 지원 모델 :

• 이 모델은 Libai가 기본적으로 지원합니다

모델	2D (TP+PP) 추론	3D 병렬 훈련
꽃	✔	-
chatglm	✔	✔
커플	✔	✔
Dalle2	✔	-
llama2	✔	✔
매	✔	✔
안정적인 _diffusion	-	-

새로운 모의 모델 :

• 이 모델은 조롱 변압기를 통해 Libai에 의해 확장되고 구현됩니다.

모델	텐서 평행	파이프 라인 평행
꽃	✔	-
GPT2	✔	-
야마	✔	-
llama2	✔	-
Baichuan	✔	-
고르다	✔	-

자세한 내용 및 출시 기록은 ChangElog를 참조하십시오.

기여

Libai를 개선하기위한 모든 기여에 감사드립니다. 기고 가이드 라인에 대한 기고를 참조하십시오.

특허

이 프로젝트는 Apache 2.0 라이센스에 따라 릴리스됩니다.

소환

이 프로젝트가 연구에 유용하다고 생각하면 다음을 고려하십시오.

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

WeChat 그룹에 가입하십시오