libai

Libai

Perkenalan

Bahasa Inggris | 简体中文

Libai adalah kotak pelatihan model open-source berskala besar berdasarkan OneFlow. Cabang utama bekerja dengan OneFlow 0.7.0.

Highlight

• Dukung koleksi komponen pelatihan paralel

  Libai menyediakan banyak paralelisme seperti paralelisme data, paralelisme tensor, dan paralelisme pipa. Ini juga dapat diperluas untuk paralelisme baru lainnya.

• Teknik pelatihan yang bervariasi

  Libai menyediakan banyak teknik pelatihan out-of-the-box seperti pelatihan terdistribusi, pelatihan presisi campuran, pos pemeriksaan aktivasi, rekomputasi, akumulasi gradien, dan pengoptimal redundansi nol (nol).

• Dukungan untuk tugas CV dan NLP

  Libai memiliki proses data yang telah ditentukan sebelumnya untuk dataset CV dan NLP seperti CIFAR, ImageNet, dan Bert dataset.

• Mudah digunakan

  Komponen Libai dirancang untuk menjadi modular untuk penggunaan yang lebih mudah sebagai berikut:

  • Sistem LazyConfig untuk sintaks yang lebih fleksibel dan tidak ada struktur yang telah ditentukan sebelumnya
  • Pelatih dan mesin yang ramah
  • Digunakan sebagai perpustakaan untuk mendukung membangun proyek penelitian di dalamnya. Lihat Proyek/ Untuk Beberapa Proyek yang Dibangun Berdasarkan Libai

• Efisiensi tinggi

Instalasi

Lihat Instruksi Instalasi.

Memulai

Lihat Lari Cepat untuk Penggunaan Dasar Libai.

Dokumentasi

Lihat dokumentasi Libai untuk dokumentasi dan tutorial API lengkap.

Changelog

Beta 0.3.0 dirilis pada 03/11/2024, perubahan umum dalam versi 0.3.0 adalah sebagai berikut:

Fitur:

• Mendukung mock transformers, lihat Mock Transformers
• Mendukung LM-Evaluasi-Harness untuk Evaluasi Model
• Optimalisasi Pengalaman Pengguna

Model baru yang didukung:

• Model -model ini secara asli didukung oleh libai

Model	Inferensi 2D (TP+PP)	Pelatihan Paralel 3D
BUNGA	✔	-
Chatglm	✔	✔
Bait	✔	✔
Dalle2	✔	-
Llama2	✔	✔
Mae	✔	✔
Stabil_diffusion	-	-

Model tiruan baru:

• Model -model ini diperluas dan diimplementasikan oleh Libai melalui transformator mengejek.

Model	Tensor Paralel	Paralel pipa
BUNGA	✔	-
Gpt2	✔	-
Llama	✔	-
Llama2	✔	-
Baichuan	✔	-
MEMILIH	✔	-

Lihat Changelog untuk detail dan riwayat rilis.

Berkontribusi

Kami menghargai semua kontribusi untuk meningkatkan libai. Lihat berkontribusi untuk pedoman yang berkontribusi.

Lisensi

Proyek ini dirilis di bawah lisensi Apache 2.0.

Kutipan

Jika Anda menemukan proyek ini berguna untuk penelitian Anda, pertimbangkan CITE:

 @misc { of2021libai ,
  author =       { Xingyu Liao and Peng Cheng and Tianhe Ren and Depeng Liang and
                  Kai Dang and Yi Wang and Xiaoyu Xu } ,
  title =        { LiBai } ,
  howpublished = { url{https://github.com/Oneflow-Inc/libai} } ,
  year =         { 2021 }
}

Bergabunglah dengan WeChat Group