libai

Libai

Einführung

Englisch | 简体中文

Libai ist eine großflächige Open-Source-Modelltraining-Toolbox, die auf einem Fluss basiert. Der Hauptzweig funktioniert mit einem Fluss 0,7.0.

Highlights

• Unterstützen Sie eine Sammlung paralleler Trainingskomponenten

  Libai bietet mehrere Parallelitäten wie Datenparallelität, Parallelität und Pipeline -Parallelität. Es ist auch für andere neue Parallelitäten erweiterbar.

• Verschiedene Trainingstechniken

  LIBAI bietet viele außergewöhnliche Trainingstechniken wie verteiltes Training, gemischtes Präzisionstraining, Aktivierungsprüfung, Neuzuberechnung, Gradientenakkumulation und Null-Redundanz-Optimierer (Null).

• Unterstützung sowohl für Lebenslauf- als auch für NLP -Aufgaben

  Libai hat einen vordefinierten Datenprozess sowohl für CV- als auch für NLP -Datensätze wie CIFAR-, ImageNet- und Bert -Datensatz.

• Einfach zu bedienen

  Die Komponenten von Libai sind so konzipiert, dass sie wie folgt modular sind:

  • LazyConfig -System für flexiblere Syntax und keine vordefinierten Strukturen
  • Freundlicher Trainer und Motor
  • Wird als Bibliothek verwendet, um Forschungsprojekte zu unterstützen. Sehen Sie sich Projekte/ für einige Projekte an, die auf Libai basieren,

• Hohe Effizienz

Installation

Siehe Installationsanweisungen.

Erste Schritte

Sehen Sie sich die grundlegende Nutzung von Libai an.

Dokumentation

In Libais Dokumentation finden Sie eine vollständige API -Dokumentation und Tutorials.

Changelog

Beta 0.3.0 wurde am 03.11.2024 veröffentlicht. Die allgemeinen Änderungen in der Version 0.3.0 sind wie folgt:

Merkmale:

• Unterstützen Sie Mocktransformatoren, siehe Scheintransformatoren
• Unterstützen
• Benutzererfahrungsoptimierung

Neu unterstützte Modelle:

• Diese Modelle werden nativ von Libai unterstützt

Modelle	2D (TP+PP) Inferenz	3D Parallele Training
BLÜHEN	✔	- -
Chatglm	✔	✔
Couplets	✔	✔
Dalle2	✔	- -
LAMA22	✔	✔
Mae	✔	✔
Stable_diffusion	- -	- -

Neue Scheinmodelle:

• Diese Modelle werden von Libai durch verspottete Transformatoren erweitert und implementiert.

Modelle	Tensor parallel	Pipeline parallel
BLÜHEN	✔	- -
Gpt2	✔	- -
LAMA	✔	- -
LAMA22	✔	- -
Baichuan	✔	- -
Opt	✔	- -

Weitere Details und Veröffentlichungsgeschichte finden Sie in ChangeLog.

Beitragen

Wir schätzen alle Beiträge zur Verbesserung von Libai. Siehe Beitrag zur beitragenden Richtlinie.

Lizenz

Dieses Projekt wird unter der Apache 2.0 -Lizenz veröffentlicht.

Zitat

Wenn Sie dieses Projekt für Ihre Forschung nützlich finden, sollten Sie zitieren:

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

Treten Sie der Wechat -Gruppe bei