Grimoire

الإنجليزية | 中文简体

Grimoire هو كل ما تحتاجه لتعزيز LLMs

تعزيز قدرات نماذج اللغة الصغيرة باستخدام grimoires.

محتويات

• مقدمة
• هيكل المشروع
• ابدأ
• نتائج
• اتصل بنا
• تودوس
• اقتباس

مقدمة

يعد التعلم داخل السياق (ICL) أحد الطرق الرئيسية لتعزيز أداء نماذج اللغة الكبيرة في مهام محددة من خلال توفير مجموعة من أمثلة الأسئلة والإجابة القليلة. ومع ذلك ، فإن إمكانية ICL لأنواع مختلفة من النماذج تُظهر تباينًا كبيرًا بسبب عوامل مثل بنية النموذج وحجم بيانات التعلم وحجم المعلمات. بشكل عام ، كلما زاد حجم معلمة النموذج وأكثر شمولاً بيانات التعلم ، زادت قدرة ICL. في هذه الورقة ، نقترح طريقة SleiCl (LLM القوية المحسّنة ICL) involves learning from examples using strong language models and then summarizing and transferring these learned skills to weak language models for inference and application.

هذا يضمن استقرار وفعالية ICL. مقارنةً بتمكين نماذج اللغة الضعيفة بشكل مباشر للتعلم من أمثلة سريعة ، يقلل SleiCl من صعوبة ICL لهذه النماذج. توضح تجاربنا ، التي أجريت على ما يصل إلى ثمانية مجموعات بيانات مع خمسة نماذج لغوية ، أن نماذج اللغة الضعيفة تحقق تحسنا ثابتًا على إمكاناتها الصفرية أو قليلة من الطلقات باستخدام طريقة SleiCl. حتى أن بعض نماذج اللغة الضعيفة تتجاوز أداء GPT4-1106-Preview (Zero-Shot) بمساعدة SleiCl.

هيكل المشروع

يتم تنظيم المشروع في العديد من الدلائل والوحدات النمطية الرئيسية. فيما يلي نظرة عامة على بنية المشروع:

 .
├── archived      # Store the grimoire and hard samples used in our experiment.
├── assets        # Store project assets, such as images, diagrams, or any visual elements used to enhance the presentation and understanding of the project.
├── configs       # Store configuration files.
├── core          # Core codebase.
│   ├── data      # Data processing module.
│   ├── evaluator # Evaluator module.
│   └── llm       # Load Large Language Models (LLMs) module.
├── data          # Store datasets and data processing scripts.
├── external      # Store the Grimoire Ranking model based on the classifier approach.
├── outputs       # Store experiment output files.
├── prompts       # Store text files used as prompts when interacting with LLMs.
├── stats         # Store experiment statistical results.
└── tests         # Store test code or unit tests.

ابدأ

1. استنساخ المستودع.

   • git clone https://github.com/IAAR-Shanghai/Grimoire.git && cd Grimoire

2. الاستعداد لبيئة كوندا.

   • conda create -n grimoire python=3.8.18
   • conda activate grimoire

3. تثبيت تبعيات Python ومعالجة البيانات.

   • chmod +x setup.sh
   • ./setup.sh

4. تكوين

   • LLMS في configs/llm.yaml.
   • التجارب في التكوينات/التجربة.
   • إذا كان من الضروري إعادة إنتاج تجربتنا ، فيمكنك تحميل العينات الصلبة المستخدمة في هذه التجربة إلى المسار الحالي باستخدام الأمر التالي: cp -r ./archived/.cache ./ .

5. انظر إلى التجارب.

6. تشغيل المحلل. لتحليل النتائج المحفوظة في outputs .

ملاحظة: فيما يتعلق بنشر LLMS ، نقدم أيضًا بعض البرامج التعليمية المرجعية.

نتائج

اتصل بنا

لأي أسئلة أو ملاحظات أو اقتراحات ، يرجى فتح مشكلة github. يمكنك التواصل من خلال قضايا جيثب.

تودوس

انقر لي لإظهار كل التودو

• compute_similarity.py setup.sh موحدًا embed.py
• يوفر تعليميًا بسيطًا حول نشر نماذج VLLM ؛
• تحميل نماذج كبيرة مباشرة من huggingface ؛
• إضافة عناصر قابلة للتكوين في experiment.yaml .
• يتم تعبئة البيئة التجريبية والرمز على أساس Docker ، وهو مناسب للباحثين لاستخدام ونشر بسرعة ؛

اقتباس

 @article{Grimoire,
      title={Grimoire is All You Need for Enhancing Large Language Models}, 
      author={Ding Chen and Shichao Song and Qingchen Yu and Zhiyu Li and Wenjin Wang and Feiyu Xiong and Bo Tang},
      journal={arXiv preprint arXiv:2401.03385},
      year={2024},
}