libai

利比

介绍

英语| 简体中文

Libai是基于OneFlow的大型开源模型培训工具箱。主分支与OneFlow 0.7.0合作。

亮点

• 支持平行培训组件的集合

  Libai提供了多种并行性，例如数据并行性，张量并行性和管道并行性。对于其他新的并行性也可以扩展。

• 多样化的培训技术

  Libai提供了许多开箱即用的培训技术，例如分布式培训，混合精度训练，激活检查点，重新计算，梯度积累和零冗余优化器（零）。

• 支持简历和NLP任务

  Libai对CV和NLP数据集（例如CIFAR，IMAGENET和BERT数据集）进行了预定义的数据过程。

• 便于使用

  Libai的组件被设计为模块化，以便于使用以下内容：

  • LazyConfig系统，用于更灵活的语法，没有预定义的结构
  • 友好的教练和引擎
  • 用作支持建筑研究项目的图书馆。请参阅项目/有关基于libai的一些项目

• 高效率

安装

请参阅安装说明。

入门

有关Libai的基本用法，请参见快速运行。

文档

有关完整的API文档和教程，请参见Libai的文档。

ChangElog

Beta 0.3.0在03/11/2024发布， 0.3.0版本的一般更改如下：

特征：

• 支持模拟变压器，请参阅模拟变形金刚
• 支持LM评估用于模型评估
• 用户体验优化

新的支持模型：

• 这些模型由Libai本地支持

型号	2D（TP+PP）推断	3D平行训练
盛开	✔	-
chatglm	✔	✔
对联	✔	✔
dalle2	✔	-
Llama2	✔	✔
梅	✔	✔
stable_diffusion	-	-

新模型：

• 这些模型是通过嘲笑变压器扩展和实施的。

型号	张量平行	管道平行
盛开	✔	-
GPT2	✔	-
骆驼	✔	-
Llama2	✔	-
Baichuan	✔	-
选择	✔	-

有关详细信息和发布历史记录，请参见ChangElog。

贡献

我们感谢为改善Libai的所有贡献。请参阅贡献指南的贡献。

执照

该项目以Apache 2.0许可发布。

引用

如果您发现此项目对您的研究有用，请考虑引用：

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

加入微信小组