CogGPT

[EMNLP 2024] Coggpt：在大语言模型上释放认知动力的力量

英语| 中文

论文的代码和数据“ Coggpt：在大语言模型上释放认知动力的力量”。

Cogbench

Cogbench是一种专门设计的双语基准，旨在评估中文和英语的大语模型（LLM）的认知动态。根据信息流的类型，将Cogbench分为两部分：用于文章的Cogbench _A和用于简短视频的Cogbench _v 。

在此基准测试中，LLM和人都被分配了相同的初始概况，并在10个迭代次数上接收相同的信息流。每次迭代后，他们都必须填写相同的认知问卷。该问卷使用五点李克特量表，允许参与者表达对当前问题的态度。

Cogbench旨在评估LLM与人类之间的认知一致性。评估指标包括：

1. 真实性：衡量LLM与人之间评分的一致性。
2. 理性：评估LLM提供的推理。

科格普

Coggpt是LLM驱动的代理，旨在展示LLMS的认知动力学。面对不断变化的信息流，Coggpt定期更新其配置文件，并有条不紊地存储首选知识。这种独特的能力使Coggpt能够维持特定角色的认知动力，从而促进终身学习。

消息

• 2024.01.17-发行纸。
• 2024.01.12 -Cogbench发布。
• 2024.01.05-最初发布的项目。

用户指南

设置

请按照以下步骤构建Cogbench：

1. 克隆存储库：克隆此存储库到您的本地环境。
2. 切换目录：使用cd命令输入存储库目录。
3. 下载数据：下载cogbench并将其保存在dataset集目录中。
4. 运行实验：分别使用cogbench_a.json和cogbench_v.json为Cogbench _A和Cogbench _V实现您的方法，并记录您的实验结果。
5. 评估结果：填写eval_cogbench_a.json和eval_cogbench_v.json文件，并通过您的实验结果进行评估。

使用Coggpt

1. 声明环境变量使用GPT-4 API：

 export OPENAI_API_KEY=sk-xxxxx

2. 使用默认设置运行COGGPT：

python coggpt/agent.py

评估

为了根据真实性和合理性指标评估您的方法，我们建议运行以下命令：

python evaluation.py --file_path < YOUR_FILE_PATH > --method < YOUR_METHOD_NAME > --authenticity --rationality

例如，要评估Cogbench _V上的CoT方法，请运行：

python evaluation.py --file_path dataset/english/eval_cogbench_v.json --method CoT --authenticity --rationality

评估分数将显示如下：

======= CoT Authenticity =======
Average authenticity: 0.15277666156947955
5th iteration authenticity: 0.3023255813953488
10th iteration authenticity: 0.13135593220338992
======= CoT Rationality =======
Average rationality: 3.058333333333333
5th iteration rationality: 3.7666666666666666
10th iteration rationality: 3.0833333333333335

有关更多详细信息，请参考Cogbench。

引用

 @misc{lv2024coggpt,
      title={CogGPT: Unleashing the Power of Cognitive Dynamics on Large Language Models}, 
      author={Yaojia Lv and Haojie Pan and Ruiji Fu and Ming Liu and Zhongyuan Wang and Bing Qin},
      year={2024},
      eprint={2401.08438},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}