libai

利比

介紹

英語| 簡體中文

Libai是基於OneFlow的大型開源模型培訓工具箱。主分支與OneFlow 0.7.0合作。

亮點

• 支持平行培訓組件的集合

  Libai提供了多種並行性，例如數據並行性，張量並行性和管道並行性。對於其他新的並行性也可以擴展。

• 多樣化的培訓技術

  Libai提供了許多開箱即用的培訓技術，例如分佈式培訓，混合精度訓練，激活檢查點，重新計算，梯度積累和零冗餘優化器（零）。

• 支持簡歷和NLP任務

  Libai對CV和NLP數據集（例如CIFAR，IMAGENET和BERT數據集）進行了預定義的數據過程。

• 便於使用

  Libai的組件被設計為模塊化，以便於使用以下內容：

  • LazyConfig系統，用於更靈活的語法，沒有預定義的結構
  • 友好的教練和引擎
  • 用作支持建築研究項目的圖書館。請參閱項目/有關基於libai的一些項目

• 高效率

安裝

請參閱安裝說明。

入門

有關Libai的基本用法，請參見快速運行。

文件

有關完整的API文檔和教程，請參見Libai的文檔。

ChangElog

Beta 0.3.0在03/11/2024發布， 0.3.0版本的一般更改如下：

特徵：

• 支持模擬變壓器，請參閱模擬變形金剛
• 支持LM評估用於模型評估
• 用戶體驗優化

新的支持模型：

• 這些模型由Libai本地支持

型號	2D（TP+PP）推斷	3D平行訓練
盛開	✔	-
chatglm	✔	✔
對聯	✔	✔
dalle2	✔	-
Llama2	✔	✔
梅	✔	✔
stable_diffusion	-	-

新模型：

• 這些模型是通過嘲笑變壓器擴展和實施的。

型號	張量平行	管道平行
盛開	✔	-
GPT2	✔	-
駱駝	✔	-
Llama2	✔	-
Baichuan	✔	-
選擇	✔	-

有關詳細信息和發布歷史記錄，請參見ChangElog。

貢獻

我們感謝為改善Libai的所有貢獻。請參閱貢獻指南的貢獻。

執照

該項目以Apache 2.0許可發布。

引用

如果您發現此項目對您的研究有用，請考慮引用：

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

加入微信小組