

الإنجليزية | 简体中文
Libai عبارة عن صندوق أدوات تدريب على نطاق واسع مفتوح المصدر يعتمد على OneFlow. الفرع الرئيسي يعمل مع Oneflow 0.7.0.
دعم مجموعة من مكونات التدريب المتوازية
يوفر Libai موازيات متعددة مثل التوازي البيانات ، التوازي الموتر ، وتوازي خط الأنابيب. كما أنه قابل للتوسيع بالنسبة للموازي الجديدة الأخرى.
تقنيات التدريب المتنوعة
يوفر Libai العديد من تقنيات التدريب خارج الصندوق مثل التدريب الموزع ، والتدريب الدقيق المختلط ، وتفتيش التنشيط ، وإعادة التثبيت ، وتراكم التدرج ، ومحسّن التكرار الصفري (صفر).
دعم كل من مهام السيرة الذاتية و NLP
لدى Libai عملية بيانات محددة مسبقًا لكل من مجموعات بيانات CV و NLP مثل مجموعة بيانات CIFAR و IMAMENET و BERT.
سهل الاستخدام
تم تصميم مكونات Libai لتكون معيارية لاستخدام أسهل على النحو التالي:
كفاءة عالية
انظر تعليمات التثبيت.
شاهد سريعًا للاستخدام الأساسي لـ Libai.
راجع وثائق Libai لتوثيق API الكامل والدروس التعليمية.
تم إصدار Beta 0.3.0 في 03/11/2024 ، التغييرات العامة في الإصدار 0.3.0 هي كما يلي:
سمات:
النماذج المدعومة الجديدة:
| النماذج | 2D (TP+PP) الاستدلال | التدريب 3D الموازي |
|---|---|---|
| يزدهر | ✔ | - |
| ChatGlm | ✔ | ✔ |
| مقاطع | ✔ | ✔ |
| Dalle2 | ✔ | - |
| Llama2 | ✔ | ✔ |
| ماي | ✔ | ✔ |
| stable_diffusion | - | - |
نماذج وهمية جديدة:
| النماذج | الموتر الموازي | خط أنابيب مواز |
|---|---|---|
| يزدهر | ✔ | - |
| GPT2 | ✔ | - |
| لاما | ✔ | - |
| Llama2 | ✔ | - |
| بايتشوان | ✔ | - |
| OPT | ✔ | - |
انظر Changelog للحصول على التفاصيل وتاريخ الإصدار.
نحن نقدر جميع المساهمات لتحسين ليباي. انظر المساهمة في المبدأ التوجيهي المساهمة.
يتم إصدار هذا المشروع بموجب ترخيص Apache 2.0.
إذا وجدت هذا المشروع مفيدًا لبحثك ، فكر في Cite:
@misc { of2021libai ,
author = { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
Kai Dang and Yi Wang and Xiaoyu Xu } ,
title = { LiBai } ,
howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
year = { 2021 }
}