libai

Либай

Введение

Английский | 简体中文

Libai-это крупномасштабный инструмент для обучения с открытым исходным кодом на основе OneFlow. Основная ветвь работает с OneFlow 0,7.0.

Основные моменты

• Поддерживать коллекцию компонентов параллельного обучения

  Libai предоставляет многочисленные параллелизмы, такие как параллелизм данных, тензорный параллелизм и параллелизм трубопровода. Это также расширяется для других новых параллелизмов.

• Различные методы обучения

  Libai предоставляет много необоснованных методов обучения, таких как распределенное обучение, смешанная точная тренировка, контрольно-пропускная точка активации, рецидивирование, накопление градиента и оптимизатор нулевой избыточности (ноль).

• Поддержка задач CV и NLP

  Libai имеет предопределенный процесс данных для наборов данных CV и NLP, таких как набор данных CIFAR, ImageNet и BERT.

• Простой в использовании

  Компоненты Libai предназначены для того, чтобы быть модульными для облегчения использования следующим образом:

  • Lazyconfig System для более гибкого синтаксиса и без предопределенных структур
  • Дружелюбный тренер и двигатель
  • Используется в качестве библиотеки для поддержки строительных исследовательских проектов. См. Проекты/ Для некоторых проектов, которые создаются на основе Libai

• Высокая эффективность

Установка

См. Инструкции по установке.

Начиная

Смотрите быстрый забег для основного использования Libai.

Документация

Смотрите документацию Libai для полной документации API и учебных пособий.

Изменение

Бета 0.3.0 была выпущена в 03/11/2024, общие изменения в версии 0,3,0 следующие:

Функции:

• Поддержка издевательских трансформаторов, см. Пешечные трансформаторы
• Поддержка LM-оценка-Harness для оценки модели
• Пользовательская оптимизация

Новые поддерживаемые модели:

• Эти модели изначально поддерживаются Libai

Модели	2D (TP+PP) вывод	3D Параллельное обучение
ЦВЕСТИ	✔	-
Чатглм	✔	✔
Куплеты	✔	✔
Dalle2	✔	-
Лама2	✔	✔
MAE	✔	✔
Stable_diffusion	-	-

Новые модели:

• Эти модели расширяются и реализованы Libai через насмешливые трансформаторы.

Модели	Тензор параллель	Трубопровод параллель
ЦВЕСТИ	✔	-
GPT2	✔	-
Лама	✔	-
Лама2	✔	-
Бачуань	✔	-
Опт	✔	-

См. Чангэлог для деталей и истории выпуска.

Внося

Мы ценим все вклад в улучшение Libai. См. Приспособление для руководства.

Лицензия

Этот проект выпущен по лицензии Apache 2.0.

Цитирование

Если вы обнаружите этот проект полезным для вашего исследования, рассмотрите цит: CITE:

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

Присоединяйтесь к группе WeChat