libai

Libai

Introdução

Inglês | 简体中文

O Libai é uma caixa de ferramentas de treinamento de modelo de modelo aberto em larga escala baseado no OneFlow. A filial principal funciona com o OneFlow 0.7.0.

Destaques

• Apoiar uma coleção de componentes de treinamento paralelo

  O libai fornece vários paralelismos, como paralelismo de dados, paralelismo tensorado e paralelismo do pipeline. Também é extensível para outros novos paralelismos.

• Técnicas de treinamento variadas

  A Libai fornece muitas técnicas de treinamento prontas para uso, como treinamento distribuído, treinamento de precisão mista, verificação de verificação de ativação, recomputação, acumulação de gradiente e otimizador de redundância zero (zero).

• Suporte para tarefas de CV e PNL

  O LIBAI possui processo de dados predefinido para conjuntos de dados CV e PNL, como conjunto de dados CIFAR, ImageNet e Bert.

• Fácil de usar

  Os componentes da Libai são projetados para serem modulares para mais fácil uso da seguinte maneira:

  • Sistema LazyConfig para uma sintaxe mais flexível e sem estruturas predefinidas
  • Treinador e motor amigável
  • Usado como uma biblioteca para apoiar projetos de pesquisa de construção. Consulte Projetos/ Para alguns projetos construídos com base em libai

• Alta eficiência

Instalação

Consulte as instruções de instalação.

Começando

Veja RAPIDADE RÁPIDO PARA O Uso Básico de Libai.

Documentação

Consulte a documentação de Libai para documentação e tutoriais completos da API.

Changelog

Beta 0.3.0 foi lançado em 11/11/2024, as mudanças gerais na versão 0.3.0 são as seguintes:

Características:

• Apoie transformadores simulados, veja Mock Transformers
• Apoie a LM-Evaluation-Harness for Model Avaluation
• Otimização da experiência do usuário

Novos modelos suportados:

• Esses modelos são suportados nativamente por libai

Modelos	2D (TP+PP) Inferência	Treinamento paralelo 3D
FLORESCER	✔	-
Chatglm	✔	✔
Dísticos	✔	✔
Dalle2	✔	-
Llama2	✔	✔
Mae	✔	✔
Stable_diffusion	-	-

Novos modelos simulados:

• Esses modelos são estendidos e implementados pela Libai através de transformadores zombeteiros.

Modelos	Tensor paralelo	Oleoduto paralelo
FLORESCER	✔	-
GPT2	✔	-
Lhama	✔	-
Llama2	✔	-
Baichuan	✔	-
OPTAR	✔	-

Veja Changelog para obter detalhes e histórico de lançamento.

Contribuindo

Agradecemos todas as contribuições para melhorar a libai. Consulte Contribuindo para a diretriz contribuinte.

Licença

Este projeto é lançado sob a licença Apache 2.0.

Citação

Se você achar este projeto útil para sua pesquisa, considere citar:

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

Junte -se ao grupo WeChat