Unduh GUNDAM - Unduh Kode Sumber GUNDAM

GUNDAM

Kode Sumber AI

1.0.0

Unduh

Golden Plug-in Data Manager (Gundam)

Proyek | Kertas | Dokumentasi

Gundam adalah manajer data yang menggunakan model bahasa untuk secara efisien menangani data tekstual, yang dibangun di atas pytorch. Gundam adalah:

Komprehensif : Gundam menyediakan manajer data termasuk penambang yang kami usulkan, generator berbasis GPT-2, dan retriever demonstrasi, dan semua komponen ini dapat diperpanjang.
Fleksibel : Gundam mendukung model bahasa GPT-2 dengan ukuran yang berbeda.
Efisien : Gundam menyediakan penambang satu-ke-satu yang efisien untuk memeriksa kualitas data.

Pendahuluan singkat

Gundam adalah kerangka kerja manajemen data baru yang mengukur kecukupan dan kebutuhan demonstrasi penyumbatan yang dikondisikan pada model bahasa. Kami menunjukkan bahwa metrik kecukupan dan kebutuhan yang diusulkan dapat dioperasikan pada kedua instance demonstrasi (IE, level instance) dan set demonstrasi (IE, set level). Dengan demikian, set data plug-in yang cukup dan perlu, dinamai sebagai set plug-in emas, dapat dianggap sebagai set inti termasuk sampel informatif. Karena menghitung dan mengukur semua himpunan bagian yang mungkin tidak mungkin terjadi, kami merancang algoritma pencarian berbasis pohon baru untuk menambang set plug-in emas. Perhatikan bahwa set plug-in golden dapat diatur sebelumnya dan disimpan untuk menghemat biaya perhitungan online. Dalam hal ini, retriever demonstrasi non-parametrik dapat melakukan pada set plug-in emas yang disimpan alih-alih seluruh korpus data, untuk menghindari pengambilan demonstrasi yang tidak memadai atau tidak perlu. Selain itu, mengingat bahwa banyak data dunia nyata akan terus tumbuh, kami mengembangkan algoritma pembaruan tambahan untuk menghindari komputasi ulang Gundam atas semua bagian yang diubah dan tidak berubah.

Menggunakan kasus

Keuntungan yang signifikan dari Gundam adalah bahwa Gundam dapat dengan mudah digunakan pada platform manajemen data yang ada karena gagasan inti Gundam adalah menetapkan tingkat prioritas yang berbeda ke data yang disimpan untuk menunjukkan kualitas data mereka mengenai model bahasa yang diberikan.

TODO (Pembaruan Terbaru di 2023/07/24)

Rilis versi dasar dari generator berbasis penambang satu-ke-satu dan GPT-2 di kedua pengaturan pembelajaran yang tidak diawasi (alias, inferensi beberapa-shot) dan pengaturan pembelajaran yang diawasi (alias, inferensi pemanasan).
Mendukung pengambilan demonstrasi berbasis acak, pengambilan demonstrasi berbasis relevansi, dan pengambilan demonstrasi berbasis keanekaragaman.
Dukung generator berbasis pasangan-ke-satu dan GPT-3.
Lepaskan dataset tekstual kecukupan dan kebutuhan.
Rilis Dokumen Rinci Tutorial dan Panduan ReadMe.

Mengutip inti

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}