INSTINCT
1.0.0
Xiaoqiang Lin*, Zhaoxuan Wu*, Zhongxiang Dai, Wenyang Hu, Yao Shu, See-Kiong NG, Patrick Jaillet, Bryan Kian Hsiang Low
프로젝트 홈페이지 | arxiv | 종이
이것은 논문의 코드입니다. Instinct : Transformers와 함께 신경 산적을 사용한 지시 최적화. 우리는 다음과 같은 실험에 대한 모든 코드를 제공합니다.
우리의 코드는 APE 및 Instructzero의 코드를 기반으로합니다.
LLMS (Largin Language Models)는 놀라운 교육 기능을 보여 주었고 다양한 응용 프로그램에서 인상적인 공연을 달성했습니다. 그러나 LLM의 성능은 그들에게 주어진 지시에 크게 의존하며, 이는 일반적으로 상당한 인간의 노력으로 수동으로 조정됩니다. 최근의 작업은 쿼리 효율적인 베이지안 최적화 (BO) 알고리즘을 사용하여 블랙 박스 LLM에 제공된 지침을 자동으로 최적화했습니다. 그러나 BO는 일반적으로 LLM의 성능에 명령을 매핑하는 함수와 같은 매우 정교한 (예 : 고차원) 객관적인 기능을 최적화 할 때 부족합니다. 이는 주로 GP (Gaussian Process) 모델의 제한된 표현력 (GP) 모델로 인해 BO가 객관적인 기능을 모델링하기위한 대리로 사용합니다. 한편, 신경망 (NNS), 특히 미리 훈련 된 변압기는 강력한 표현력을 가지고 있으며 매우 복잡한 기능을 모델링 할 수 있음이 반복적으로 나타났습니다. 따라서 BO의 GP를 NN 대리로 대체하여 블랙 박스 LLM에 대한 지침을 최적화하는 신경 산적 알고리즘을 채택합니다. 더 중요한 것은, 신경 산적 알고리즘을 통해 우리는 NN 대리인을 미리 훈련 된 변압기 (즉, 오픈 소스 LLM)에 의해 배운 숨겨진 표현과 자연스럽게 부여하여 성능을 크게 향상시킬 수 있습니다. 이것들은 변압기 (본능) 알고리즘과 결합 된 신경 산적을 사용하여 지시 최적화를 제안하도록 동기를 부여합니다. 우리는 ChatGpt에 대한 지시 최적화를 수행하고 광범위한 실험을 사용하여 우리의 본능이 다양한 명령 유도 작업과 같은 다른 작업에서 기존 방법을 지속적으로 성능하고 제로 샷 사슬의 명령어를 개선하는 작업을 보여줍니다.
Instructzero의 Github Repo에서 내재 유도 데이터를 다운로드 할 수 있습니다. Huggingface 웹 사이트에서 Samsum 데이터 세트를 다운로드 할 수 있습니다. APE 용 Repo에서 GSM8K, Aquarat 및 SVAMP 용 데이터 세트를 다운로드 할 수 있습니다.
우리는 데이터 사전 사전 노트북을 COT/experiments/data/instruction_induction/pre_aqua.ipynb , COT/experiments/data/instruction_induction/pre_gsm8k.ipynb 및 Induction/experiments/data/nlptasks/pre_nlp_data.ipynb 에 넣었습니다.
코드를 실행하려면 Conda : conda env create -f environment.yml 사용하여 환경을 설치해야합니다.
Induction/experiments/run_neural_bandits.sh 에서 지시 유도 실험을 실행하기위한 Bash 스크립트를 제공합니다. 올바르게 실행하려면 터미널에서 다음을 실행해야합니다.
cd Induction
bash experiments/run_neural_bandits.sh
마찬가지로, 생각한 명령어를 개선하기위한 코드를 실행하려면 스크립트 COT/experiments/run_cot_bandits.sh 다음과 같이 실행해야합니다.
cd COT
bash experiments/run_cot_bandits.sh
위의 bash 스크립트를 실행하기 전에 gpt-turbo-3.5-0301 API를 호출하기위한 OpenAI 키를 지정해야합니다. 그렇게하려면 두 개의 배쉬 스크립트에서 다음을 변경하십시오.
export export OPENAI_API_KEY=YOUR_KEY
@inproceedings{lin2024use,
title={Use Your {INSTINCT}: INSTruction optimization for LLMs usIng Neural bandits Coupled with Transformers},
author={Xiaoqiang Lin and Zhaoxuan Wu and Zhongxiang Dai and Wenyang Hu and Yao Shu and See-Kiong Ng and Patrick Jaillet and Bryan Kian Hsiang Low},
year={2024},
booktitle={Proc. ICML}
}
