تنزيل GUNDAM - تنزيل رمز مصدر GUNDAM

GUNDAM

كود الذكاء الاصطناعي

1.0.0

تنزيل

Golden Plug-in Data Manager (Gundam)

مشروع | ورقة | الوثائق

Gundam هو مدير بيانات يستخدم نماذج اللغة لمعالجة البيانات النصية بكفاءة ، والتي تم تصميمها على Pytorch. Gundam هو:

شامل : يوفر Gundam مدير بيانات بما في ذلك عمال المناجم المقترح لدينا ، ومولد قائم على GPT-2 ، ومسترد توضيحي ، وجميع هذه المكونات قابلة للتمديد.
مرن : يدعم Gundam نماذج لغة GPT-2 بأحجام مختلفة.
كفاءة : يوفر Gundam عامل منجم فعال واحد إلى واحد للتحقق من جودة البيانات.

مقدمة موجزة

Gundam هو إطار عمل جديد لإدارة البيانات يقيس كفاية وضرورة توصيل المظاهرات المشروطة على نماذج اللغة. نوضح أنه يمكن تشغيل الكفاءة المقترحة والضرورة في كل من حالات العرض التوضيحي (أي ، مستوى المثيل) ومجموعات العرض التوضيحي (أي المستوى المحدد). وبالتالي ، يمكن اعتبار مجموعة من بيانات المكونات الإضافية الكافية والضرورية ، التي تم تسميتها كمجموعة مكونات إضافية ذهبية ، مجموعة أساسية بما في ذلك العينات المفيدة. نظرًا لأن التعداد وقياس جميع المجموعات الفرعية الممكنة أمر غير ممكن ، فإننا نقوم بتصميم خوارزميات بحث جديدة قائمة على الأشجار لاستخراج مجموعة الإضافات الذهبية. لاحظ أن مجموعة الإضافات الذهبية يمكن حسابها وتخزينها مسبقًا لتوفير تكاليف الحساب عبر الإنترنت. في هذا الصدد ، يمكن أن يؤدي المستردون من المظاهرات غير البارامترية على مجموعة الإضافات الذهبية المخزنة بدلاً من مجموعة البيانات بأكملها ، لتجنب استرداد المظاهرات غير الكافية أو غير الضرورية. علاوة على ذلك ، بالنظر إلى أن العديد من بيانات البيانات الحقيقية ستستمر في النمو ، فإننا نطور خوارزمية تحديث تدريجية لتجنب إعادة حساب Gundam على جميع الأجزاء المتغيرة وغير المتغيرة.

استخدام الحالات

تتمثل الميزة الهامة لـ Gundam في أنه يمكن نشر Gundam بسهولة على أي منصة لإدارة البيانات الحالية لأن الفكرة الأساسية لـ Gundam هي تعيين مستويات ذات أولوية مختلفة للبيانات المخزنة لإظهار صفات البيانات الخاصة بهم فيما يتعلق بنموذج اللغة المحدد.

TODO (آخر تحديث في 2023/07/24)

احرص على الإصدارات الأساسية لمولدات منجم واحد إلى واحد ومولدات GPT-2 في كل من إعدادات التعلم غير الخاضعة للإشراف (ويعرف أيضًا باسم استنتاج قليل) وإعدادات التعلم الخاضعة للإشراف (AKA ، الاستدلال الاحماء).
دعم المسترجعين العشوائيين العشوائيين ، والمستردين من المظاهرات القائمة على الأهمية ، ومسترجع التوضيح القائم على التنوع.
دعم من عمال المناجم من زوج إلى واحد ومولدات GPT-3.
إطلاق مجموعة البيانات النصية من الاكتفاء والضرورة.
إصدار توثيق مفصل البرنامج التعليمي وإرشادات ReadMe.

نقلا عن جوهر

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}