AgentReview

标题	表情符号	颜色	科洛特	SDK	sdk_version	app_file	固定	执照	short_description
AgentReview	？	靛青	粉色的	Gradio	5.4.0	app.py	错误的	Apache-2.0	EMNLP 2024

AgentReview

？

演示网站| ？纸| ？arxiv ｜代码

 @inproceedings { jin2024agentreview ,
  title = { AgentReview: Exploring Peer Review Dynamics with LLM Agents } ,
  author = { Jin, Yiqiao and Zhao, Qinlin and Wang, Yiyang and Chen, Hao and Zhu, Kaijie and Xiao, Yijia and Wang, Jindong } ,
  booktitle = { EMNLP } ,
  year = { 2024 }
}

---

介绍

AgentReview是一个开创性的大语言模型（LLM）基于模拟同行审查过程的框架，开发了用于分析和解决影响审查结果的复杂多元因素。与传统的统计方法不同，Agent Review捕获了潜在变量，同时尊重敏感同行评审数据的隐私。

学术摘要

同行评审是科学出版物的完整性和进步的基础。同行评审分析的传统方法通常依赖于现有同行评审数据的探索和统计数据，这些数据无法充分解决该过程的多元性质，解释了潜在变量，并且由于数据的敏感性而受到隐私问题的进一步限制。我们介绍了AgentReview，这是第一个基于同行的大语言模型（LLM）仿真框架，该框架有效地解开了多种潜在因素的影响并解决了隐私问题。我们的研究揭示了重要的见解，包括审稿人偏见引起的纸质决策的37.1％变化，并得到社会学理论（例如社会影响理论，利他主义疲劳和权威偏见）的支持。我们认为，这项研究可以提供有价值的见解，以改善同行评审机制的设计。

入门

安装

下载数据

在此Dropbox中下载两个zip文件：

unzip AgentReview_paper_data.zip在data/中，其中包含：

1. 纸的PDF版本
2. ICLR 2020-2023的现实世界同行评审

unzip AgentReview_Paper_Data.zip -d data/

（可选）Unzip AgentReview_llm_reviews.zip在outputs/中包含LLM生成的评论（我们的LLM生成数据集）

unzip AgentReview_LLM_Review.zip -d outputs/

安装所需的软件包：

 cd AgentReview/
pip install -r requirements.txt

3. 设置环境变量

如果使用OpenAI API，请设置OpenAI_API_KEY。

 export OPENAI_API_KEY=... # Format: sk-...

如果使用Azureopenai API，请设置以下内容

 export AZURE_ENDPOINT=...  # Format: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=...  # Your Azure OpenAI deployment here
export AZURE_OPENAI_KEY=... # Your Azure OpenAI key here

运行项目

在run.sh中设置环境变量并运行：

bash run.sh

注意：所有项目文件均应从AgentReview目录运行。

演示

可以在notebooks/demo.ipynb中找到演示

自定义自己的环境

您可以在agentreview/experiment_config.py中添加一个新设置，然后将设置作为新条目添加到all_settings dictionary：

 all_settings = {
    "BASELINE" : baseline_setting ,
    "benign_Rx1" : benign_Rx1_setting ,
    ...
    " your_setting_name ": your_setting 

框架概述

舞台设计

我们的模拟采用了结构化的5阶段管道

• 第一阶段评估者评估。每个手稿都由三位审稿人独立评估。
• 第二阶段。作者评审讨论。作者提交反驳以解决审查者的关注；
• 第三阶段。评论者-AC讨论。 AC促进了审阅者之间的讨论，促使其初步评估更新。
• 第四阶段元评论汇编。 AC将讨论综合为元评论。
• V.纸张决定。 AC根据所有收集的意见做出最终决定是接受还是拒绝该论文。

笔记

• 我们使用固定的接受率为32％，对应于ICLR 2020-2023的实际接受率。有关更多信息，请参见会议接受率。
• 有时，API可以对请求进行严格的过滤。您可能需要调整内容过滤以获得所需的结果。

执照

该项目已根据APACHE-2.0许可获得许可。

致谢

该实现部分基于Chatarena框架。