Grimoire

英語| 中文简体

Grimoireは、LLMを強化するために必要なすべてです

グリモアを使用して、小言語モデルの機能を強化します。

コンテンツ

• 導入
• プロジェクト構造
• 始めましょう
• 結果
• お問い合わせ
• トドス
• 引用

導入

コンテキスト学習（ICL）は、一連の少数の質問と回答の例を提供することにより、特定のタスク上の大規模な言語モデルのパフォーマンスを強化するための重要な方法の1つです。ただし、さまざまなタイプのモデルのICL機能は、モデルアーキテクチャ、学習データの量、パラメーターのサイズなどの要因により、大きな変動を示しています。一般に、モデルのパラメーターサイズが大きくなり、学習データがより広範囲に及ぶほど、ICL機能が強くなります。この論文では、 involves learning from examples using strong language models and then summarizing and transferring these learned skills to weak language models for inference and application.

これにより、ICLの安定性と有効性が保証されます。弱い言語モデルが迅速な例から学習できるように直接有効にすることと比較すると、SLEICLはこれらのモデルのICLの難しさを軽減します。 5つの言語モデルを備えた最大8つのデータセットで実施された実験は、SLEICLメソッドを使用して、ゼロショットまたは少ないショット機能よりも弱い言語モデルが一貫した改善を達成することを示しています。いくつかの弱い言語モデルは、SLEICLの助けを借りてGPT4-1106-PREVIEW（ゼロショット）のパフォーマンスを上回ります。

プロジェクト構造

このプロジェクトは、いくつかの重要なディレクトリとモジュールに編成されています。プロジェクト構造の概要は次のとおりです。

 .
├── archived      # Store the grimoire and hard samples used in our experiment.
├── assets        # Store project assets, such as images, diagrams, or any visual elements used to enhance the presentation and understanding of the project.
├── configs       # Store configuration files.
├── core          # Core codebase.
│   ├── data      # Data processing module.
│   ├── evaluator # Evaluator module.
│   └── llm       # Load Large Language Models (LLMs) module.
├── data          # Store datasets and data processing scripts.
├── external      # Store the Grimoire Ranking model based on the classifier approach.
├── outputs       # Store experiment output files.
├── prompts       # Store text files used as prompts when interacting with LLMs.
├── stats         # Store experiment statistical results.
└── tests         # Store test code or unit tests.

始めましょう

1. リポジトリをクローンします。

   • git clone https://github.com/IAAR-Shanghai/Grimoire.git && cd Grimoire

2. コンドラ環境に備えます。

   • conda create -n grimoire python=3.8.18
   • conda activate grimoire

3. Python依存関係をインストールし、データを処理します。

   • chmod +x setup.sh
   • ./setup.sh

4. 設定します

   • configs/llm.yamlのLLMS。
   • configs/experiment.yamlの実験。
   • 実験を再現する必要がある場合は、次のコマンドを使用して、この実験で使用されたグリモワールとハードサンプルを現在のパスにロードできますcp -r ./archived/.cache ./

5. 実験を調べて、実験を実行する方法を確認してください。

6. Analyst.pyを実行して、 outputsで保存された結果を分析します。

注： LLMSの展開については、いくつかのリファレンスチュートリアルも提供しています。

結果

お問い合わせ

質問、フィードバック、または提案については、GitHubの問題を開いてください。 Githubの問題を介して連絡できます。

トドス

私をクリックして、すべてのTODOを表示してください

• unified setup.shを作成して、python依存関係のインストールとembed.pyおよびcompute_similarity.pyの実装を実装します。
• VLLMモデルの展開に関する簡単なチュートリアルを提供します。
• huggingfaceから直接大きなモデルをロードします。
• experiment.yamlに構成可能なアイテムを追加します。
• 実験環境とコードは、Dockerに基づいてパッケージ化されています。これは、研究者が迅速に使用して展開するのに便利です。

引用

 @article{Grimoire,
      title={Grimoire is All You Need for Enhancing Large Language Models}, 
      author={Ding Chen and Shichao Song and Qingchen Yu and Zhiyu Li and Wenjin Wang and Feiyu Xiong and Bo Tang},
      journal={arXiv preprint arXiv:2401.03385},
      year={2024},
}