libai

Libai

Introducción

Inglés | 简体中文

Libai es una caja de herramientas de entrenamiento de modelos de código abierto a gran escala basada en Onflow. La rama principal funciona con Onflow 0.7.0.

Reflejos

• Apoyar una colección de componentes de entrenamiento paralelo

  Libai proporciona múltiples paralelismos, como el paralelismo de datos, el paralelismo tensorial y el paralelismo de la tubería. También es extensible para otros nuevos paralelismos.

• Técnicas de entrenamiento variadas

  Libai proporciona muchas técnicas de entrenamiento listos para usar, como entrenamiento distribuido, entrenamiento de precisión mixto, punto de control de activación, recomputación, acumulación de gradiente y optimizador de redundancia cero (cero).

• Soporte para tareas CV y ​​PNL

  Libai tiene un proceso de datos predefinido para conjuntos de datos CV y ​​NLP, como CIFAR, ImageNet y Bert DataSet.

• Fácil de usar

  Los componentes de Libai están diseñados para ser modulares para un uso más fácil de la siguiente manera:

  • Sistema LazyConfig para una sintaxis más flexible y sin estructuras predefinidas
  • Entrenador y motor amigables
  • Utilizado como biblioteca para apoyar la creación de proyectos de investigación en ella. Consulte Proyectos/ para algunos proyectos que se construyan en base a Libai

• Alta eficiencia

Instalación

Consulte las instrucciones de instalación.

Empezando

Vea rápido Run para el uso básico de Libai.

Documentación

Consulte la documentación de Libai para la documentación completa de la API y los tutoriales.

Colegio de cambios

Beta 0.3.0 se lanzó en el 11/03/2024, los cambios generales en la versión 0.3.0 son los siguientes:

Características:

• Apoya a los transformadores simulados, ver transformadores simulados
• Apoya a LM-Evaluation-Harness para la evaluación del modelo
• Optimización de la experiencia del usuario

Nuevos modelos compatibles:

• Estos modelos son compatibles de forma nativa por Libai

Modelos	Inferencia 2D (TP+PP)	Entrenamiento paralelo 3D
FLORACIÓN	✔	-
Chatglm	✔	✔
Parejas	✔	✔
Dalle2	✔	-
Llama2	✔	✔
Mae	✔	✔
Stable_diffusion	-	-

Nuevos modelos simulados:

• Estos modelos son extendidos e implementados por Libai a través de transformadores de burla.

Modelos	Tensor paralelo	Paralelo de tubería
FLORACIÓN	✔	-
GPT2	✔	-
LLAMA	✔	-
Llama2	✔	-
Baichuan	✔	-
OPTAR	✔	-

Consulte ChangeLog para obtener detalles e historial de lanzamiento.

Que contribuye

Apreciamos todas las contribuciones para mejorar la liba. Ver contribuyendo para la guía contribuyente.

Licencia

Este proyecto se publica bajo la licencia Apache 2.0.

Citación

Si encuentra este proyecto útil para su investigación, considere citar:

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

Únete al grupo WeChat