AgentReview
1.0.0
| título | Emoji | colorfrom | Colorto | sdk | sdk_version | APP_FILE | preso | licença | short_description |
|---|---|---|---|---|---|---|---|---|---|
AgentReview | ? | índigo | rosa | Gradio | 5.4.0 | app.py | falso | Apache-2.0 | EMNLP 2024 |
Implementação oficial para o artigo principal da faixa principal do EMNLP 2024 (ORAL) - AgentReview: Explorando a dinâmica de revisão por pares com agentes LLM
Demoção ｜ Site | ? Papel | ? Arxiv ｜ Código
@inproceedings { jin2024agentreview ,
title = { AgentReview: Exploring Peer Review Dynamics with LLM Agents } ,
author = { Jin, Yiqiao and Zhao, Qinlin and Wang, Yiyang and Chen, Hao and Zhu, Kaijie and Xiao, Yijia and Wang, Jindong } ,
booktitle = { EMNLP } ,
year = { 2024 }
}
O AgentReview é uma estrutura baseada em Modelo de Linguagem Grande (LLM) pioneira para simular processos de revisão por pares, desenvolvidos para analisar e abordar os fatores complexos e multivariados que influenciam os resultados da revisão. Diferentemente dos métodos estatísticos tradicionais, o AgentReview captura variáveis latentes, respeitando a privacidade dos dados sensíveis de revisão por pares.
A revisão por pares é fundamental para a integridade e o avanço da publicação científica. Os métodos tradicionais das análises de revisão por pares geralmente dependem da exploração e das estatísticas dos dados existentes de revisão por pares, que não abordam adequadamente a natureza multivariada do processo, são responsáveis pelas variáveis latentes e são restringidas por preocupações de privacidade devido à natureza sensível dos dados. Introduzimos o AgentReview, a primeira estrutura de simulação de revisão por pares baseada em Modelo de Idioma (LLM), que efetivamente desafia os impactos de múltiplos fatores latentes e aborda a questão da privacidade. Nosso estudo revela idéias significativas, incluindo uma variação notável de 37,1% nas decisões do papel devido aos vieses dos revisores, apoiados por teorias sociológicas, como teoria da influência social, fadiga de altruísmo e viés de autoridade. Acreditamos que este estudo poderia oferecer informações valiosas para melhorar o design dos mecanismos de revisão por pares.
Baixar os dados
Faça o download dos dois arquivos ZIP neste Dropbox:
UNZIP Agentreview_paper_data.zip em data/ , que contém:
unzip AgentReview_Paper_Data.zip -d data/ (Opcional) UNZIP Agentreview_llm_reviews.zip em outputs/ , que contém as revisões geradas por LLM, (nosso conjunto de dados gerado por LLM)
unzip AgentReview_LLM_Review.zip -d outputs/Instale os pacotes necessários :
cd AgentReview/
pip install -r requirements.txt
Se você usar a API OpenAI, defina o OpenAI_API_KEY.
export OPENAI_API_KEY=... # Format: sk-...Se você usar a API do AzureOpenai, defina o seguinte
export AZURE_ENDPOINT=... # Format: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=... # Your Azure OpenAI deployment here
export AZURE_OPENAI_KEY=... # Your Azure OpenAI key hereExecutando o projeto
Defina as variáveis do ambiente em run.sh e execute -o:
bash run.sh Nota: Todos os arquivos do projeto devem ser executados no diretório AgentReview .
Demonstração
Uma demonstração pode ser encontrada em notebooks/demo.ipynb
Você pode adicionar uma nova configuração no agentreview/experiment_config.py e adicionar a configuração como uma nova entrada ao Dictionary all_settings :
all_settings = {
"BASELINE" : baseline_setting ,
"benign_Rx1" : benign_Rx1_setting ,
...
" your_setting_name ": your_setting Nossa simulação adota um pipeline estruturado de 5 fases
Este projeto está licenciado sob a licença Apache-2.0.
A implementação é parcialmente baseada na estrutura do Chartarena.
