INSTINCT

本能を使用：トランスと組み合わせたニューラルバンディットを使用したLLMの指示最適化[ICML 2024]

Xiaoqiang Lin*、Zhaoxuan Wu*、Zhongxiang Dai、Wenyang Hu、Yao Shu、See-Kiong Ng、Patrick Jaillet、Bryan Kian Hsiang Low Low

プロジェクトホームページ| arxiv |紙

これは論文のコードです：あなたの本能を使用：トランスと組み合わせたニューラルバンディットを使用した命令最適化。以下を含む実験用のすべてのコードを提供します。

• 命令誘導
• 考えられたチェーンの指示の改善

私たちのコードは、APEとInstructzeroのコードに基づいています。

抽象的な

大規模な言語モデル（LLM）は、驚くべき指導に従う能力を示しており、さまざまなアプリケーションで印象的なパフォーマンスを達成しました。ただし、LLMのパフォーマンスは、通常、実質的な人間の努力で手動で調整されている指示に大きく依存しています。最近の作業では、クエリ効率の高いベイジアン最適化（BO）アルゴリズムを使用して、ブラックボックスLLMSに与えられた命令を自動的に最適化しました。ただし、通常、BOは、LLMのパフォーマンスへの命令をマッピングする関数など、非常に洗練された（たとえば、高次元の）目的関数を最適化すると不足しています。これは主に、目標関数をモデル化するために代理としてBOによって使用されるガウスプロセス（GP）モデルの限られた表現力によるものです。一方、ニューラルネットワーク（NNS）、特に事前に訓練された変圧器が強力な表現力を持ち、非常に複雑な機能をモデル化できることが繰り返し示されています。そのため、BOのGPをNN代理に置き換えるニューラル盗賊アルゴリズムを採用して、ブラックボックスLLMの命令を最適化します。さらに重要なことに、ニューラルバンディットアルゴリズムにより、NN代理を事前に訓練したトランス（つまり、オープンソースLLM）によって学習した隠された表現と自然に結合することができ、パフォーマンスが大幅に向上します。これらは、変圧器（本能）アルゴリズムと組み合わせたニューラルバンディットを使用して、指導の最適化を提案する動機を与えます。 ChatGptの命令最適化を実行し、広範な実験を使用して、私たちの本能が、さまざまな命令誘導タスクやゼロショットの想定操作を改善するタスクなど、さまざまなタスクの既存の方法を常に上回ることを示します。

データを準備します

InstructzeroのGithubリポジトリから固有の誘導のデータをダウンロードできます。 Huggingface WebサイトからSamsumのデータセットをダウンロードできます。 ape for apeのリポジトリからGSM8K、Aquarat、およびSvampのデータセットをダウンロードできます。

データプレハイオンノートブックInduction/experiments/data/nlptasks/pre_nlp_data.ipynb COT/実験/データ/ COT/experiments/data/instruction_induction/pre_gsm8k.ipynb COT/experiments/data/instruction_induction/pre_aqua.ipynbに配置します。

コードを実行します

コードを実行するには、Condaを使用しconda env create -f environment.yml環境をインストールする必要があります。

Induction/experiments/run_neural_bandits.shで命令誘導のために実験を実行するためのBASHスクリプトを提供します。適切に実行するには、端末で以下を実行する必要があります。

 cd Induction
bash experiments/run_neural_bandits.sh

同様に、チェーンオブテアの命令を改善するためにコードを実行するには、スクリプトCOT/experiments/run_cot_bandits.sh以下として実行する必要があります。

 cd COT
bash experiments/run_cot_bandits.sh

上記のBASHスクリプトを実行する前に、 gpt-turbo-3.5-0301を呼び出すためのOpenAIキーを指定する必要があることに注意してください。これを行うには、2つのバッシュスクリプトで以下を変更します。

 export export OPENAI_API_KEY=YOUR_KEY

bibtex

 @inproceedings{lin2024use,
        title={Use Your {INSTINCT}: INSTruction optimization for LLMs usIng Neural bandits Coupled with Transformers},
        author={Xiaoqiang Lin and Zhaoxuan Wu and Zhongxiang Dai and Wenyang Hu and Yao Shu and See-Kiong Ng and Patrick Jaillet and Bryan Kian Hsiang Low},
        year={2024},
        booktitle={Proc. ICML}
}