CogGPT

[EMNLP 2024] Coggpt：在大語言模型上釋放認知動力的力量

英語| 中文

論文的代碼和數據“ Coggpt：在大語言模型上釋放認知動力的力量”。

Cogbench

Cogbench是一種專門設計的雙語基準，旨在評估中文和英語的大語模型（LLM）的認知動態。根據信息流的類型，將Cogbench分為兩部分：用於文章的Cogbench _A和用於簡短視頻的Cogbench _v 。

在此基準測試中，LLM和人都被分配了相同的初始概況，並在10個迭代次數上接收相同的信息流。每次迭代後，他們都必須填寫相同的認知問卷。該問卷使用五點李克特量表，允許參與者表達對當前問題的態度。

Cogbench旨在評估LLM與人類之間的認知一致性。評估指標包括：

1. 真實性：衡量LLM與人之間評分的一致性。
2. 理性：評估LLM提供的推理。

科格普

Coggpt是LLM驅動的代理，旨在展示LLMS的認知動力學。面對不斷變化的信息流，Coggpt定期更新其配置文件，並有條不紊地存儲首選知識。這種獨特的能力使Coggpt能夠維持特定角色的認知動力，從而促進終身學習。

消息

• 2024.01.17-發行紙。
• 2024.01.12 -Cogbench發布。
• 2024.01.05-最初發布的項目。

用戶指南

設定

請按照以下步驟構建Cogbench：

1. 克隆存儲庫：克隆此存儲庫到您的本地環境。
2. 切換目錄：使用cd命令輸入存儲庫目錄。
3. 下載數據：下載cogbench並將其保存在dataset集目錄中。
4. 運行實驗：分別使用cogbench_a.json和cogbench_v.json為Cogbench _A和Cogbench _V實現您的方法，並記錄您的實驗結果。
5. 評估結果：填寫eval_cogbench_a.json和eval_cogbench_v.json文件，並通過您的實驗結果進行評估。

使用Coggpt

1. 聲明環境變量使用GPT-4 API：

 export OPENAI_API_KEY=sk-xxxxx

2. 使用默認設置運行COGGPT：

python coggpt/agent.py

評估

為了根據真實性和合理性指標評估您的方法，我們建議運行以下命令：

python evaluation.py --file_path < YOUR_FILE_PATH > --method < YOUR_METHOD_NAME > --authenticity --rationality

例如，要評估Cogbench _V上的CoT方法，請運行：

python evaluation.py --file_path dataset/english/eval_cogbench_v.json --method CoT --authenticity --rationality

評估分數將顯示如下：

======= CoT Authenticity =======
Average authenticity: 0.15277666156947955
5th iteration authenticity: 0.3023255813953488
10th iteration authenticity: 0.13135593220338992
======= CoT Rationality =======
Average rationality: 3.058333333333333
5th iteration rationality: 3.7666666666666666
10th iteration rationality: 3.0833333333333335

有關更多詳細信息，請參考Cogbench。

引用

 @misc{lv2024coggpt,
      title={CogGPT: Unleashing the Power of Cognitive Dynamics on Large Language Models}, 
      author={Yaojia Lv and Haojie Pan and Ruiji Fu and Ming Liu and Zhongyuan Wang and Bing Qin},
      year={2024},
      eprint={2401.08438},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}