libai

Libai

Introduction

Anglais | 简体中文

Libai est une boîte à outils de formation de modèle open source à grande échelle basée sur Oneflow. La branche principale fonctionne avec Oneflow 0.7.0.

Points forts

• Soutenir une collection de composants de formation parallèles

  Libai fournit de multiples parallélismes tels que le parallélisme des données, le parallélisme du tenseur et le parallélisme du pipeline. Il est également extensible pour d'autres nouveaux parallélismes.

• Techniques de formation variées

  Libai fournit de nombreuses techniques de formation prête à l'emploi telles que la formation distribuée, la formation de précision mixte, le point de contrôle de l'activation, la recomputation, l'accumulation de gradient et l'optimiseur de redondance zéro (zéro).

• Prise en charge des tâches CV et NLP

  Libai a un processus de données prédéfini pour les ensembles de données CV et NLP tels que CIFAR, ImageNet et Bert DataSet.

• Facile à utiliser

  Les composants de Libai sont conçus pour être modulaires pour une utilisation plus facile comme suit:

  • Système lazyconfig pour une syntaxe plus flexible et aucune structure prédéfinie
  • Entraîneur et moteur amical
  • Utilisé comme bibliothèque pour soutenir des projets de recherche de construction à ce sujet. Voir les projets / pour certains projets construits sur la base de Libai

• Grande efficacité

Installation

Voir les instructions d'installation.

Commencer

Voir rapide pour l'utilisation de base de Libai.

Documentation

Voir la documentation de Libai pour la documentation complète de l'API et les tutoriels.

Changelog

Beta 0.3.0 a été publié au 03/11/2024, les changements généraux de la version 0.3.0 sont les suivants:

Caractéristiques:

• Soutien de la simulation de transformateurs, voir Mock Transformers
• Soutenir le gradin d'évaluation LM pour l'évaluation du modèle
• Optimisation de l'expérience utilisateur

Nouveaux modèles pris en charge:

• Ces modèles sont soutenus nativement par libai

Modèles	Inférence 2D (TP + PP)	Formation parallèle 3D
FLORAISON	✔	-
Chatglm	✔	✔
Bacles	✔	✔
Dalle2	✔	-
Lama2	✔	✔
Mae	✔	✔
Stable_diffusion	-	-

Nouveaux modèles simulés:

• Ces modèles sont étendus et mis en œuvre par Libai via des transformateurs moqueurs.

Modèles	Tensor parallèle	Pipeline parallèle
FLORAISON	✔	-
Gpt2	✔	-
LAMA	✔	-
Lama2	✔	-
Baichuan	✔	-
OPTER	✔	-

Voir Changelog pour plus de détails et l'historique des versions.

Contributif

Nous apprécions toutes les contributions pour améliorer Libai. Voir Contribution pour la directive contributive.

Licence

Ce projet est publié sous la licence Apache 2.0.

Citation

Si vous trouvez ce projet utile pour vos recherches, pensez à citer:

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

Rejoignez le groupe WeChat