libai

リバイ

導入

英語| 简体中文

Libaiは、OneFlowに基づいた大規模なオープンソースモデルトレーニングツールボックスです。メインブランチは、OneFlow 0.7.0で動作します。

ハイライト

• 並列トレーニングコンポーネントのコレクションをサポートします

  Libaiは、データの並列性、テンソル並列性、パイプライン並列性などの複数の並行性を提供します。また、他の新しい並列性にとっても拡張可能です。

• さまざまなトレーニング技術

  Libaiは、分散トレーニング、混合精度トレーニング、アクティベーションチェックポイント、再構成、勾配蓄積、ゼロ冗長性オプティマイザー（ゼロ）など、多くのすぐに使えるトレーニング技術を提供します。

• CVタスクとNLPタスクの両方のサポート

  Libaiには、CIFAR、Imagenet、BertデータセットなどのCVデータセットとNLPデータセットの両方の定義済みデータプロセスがあります。

• 使いやすい

  Libaiのコンポーネントは、次のように使用できるようにモジュール式になるように設計されています。

  • より柔軟な構文と事前定義された構造のためのlazyconfigシステム
  • フレンドリーなトレーナーとエンジン
  • ライブラリとして使用して、それに関する研究プロジェクトの構築をサポートします。リバイに基づいて構築されたプロジェクト/一部のプロジェクトを参照してください

• 高効率

インストール

インストール手順を参照してください。

はじめる

Libaiの基本的な使用については、クイックランを参照してください。

ドキュメント

完全なAPIドキュメントとチュートリアルについては、Libaiのドキュメントを参照してください。

Changelog

ベータ0.3.0は03/11/2024にリリースされ、 0.3.0バージョンの一般的な変更は次のとおりです。

特徴：

• 模擬変圧器をサポートします。モックトランスを参照してください
• モデル評価のためにLM評価ハーネスをサポートします
• ユーザーエクスペリエンスの最適化

新しいサポートされたモデル：

• これらのモデルは、リバイによってネイティブにサポートされています

モデル	2D（TP+PP）推論	3D並列トレーニング
咲く	✔	-
chatglm	✔	✔
カプレット	✔	✔
dalle2	✔	-
llama2	✔	✔
メイ	✔	✔
stable_diffusion	-	-

新しいモックモデル：

• これらのモデルは、モッキングトランスを通じてリバイによって拡張および実装されています。

モデル	テンソルの平行	パイプラインの平行
咲く	✔	-
GPT2	✔	-
ラマ	✔	-
llama2	✔	-
バイチュアン	✔	-
Opt	✔	-

詳細とリリース履歴については、changelogを参照してください。

貢献

リバイを改善するためのすべての貢献に感謝します。貢献ガイドラインについては、貢献を参照してください。

ライセンス

このプロジェクトは、Apache 2.0ライセンスの下でリリースされます。

引用

このプロジェクトが研究に役立つと思う場合は、引用を検討してください。

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

WeChat Groupに参加してください