AgentReview

заголовок	эмодзи	Colorprom	колорто	SDK	sdk_version	app_file	прикреплен	лицензия	short_description
AgentReview	?	индиго	розовый	градио	5.4.0	app.py	ЛОЖЬ	Apache-2.0	EMNLP 2024

AgentReview

Официальная реализация для основного трека (оральный) бумага (устный) - AgentRevie

Демонстрация ｜ Веб -сайт | ? Бумага | ? arxiv ｜ код

 @inproceedings { jin2024agentreview ,
  title = { AgentReview: Exploring Peer Review Dynamics with LLM Agents } ,
  author = { Jin, Yiqiao and Zhao, Qinlin and Wang, Yiyang and Chen, Hao and Zhu, Kaijie and Xiao, Yijia and Wang, Jindong } ,
  booktitle = { EMNLP } ,
  year = { 2024 }
}

---

Введение

AgentReview-это новаторская структура на основе большой языковой модели (LLM) для моделирования процессов рецензирования, разработанной для анализа и решения сложных многомерных факторов, влияющих на результаты обзора. В отличие от традиционных статистических методов, AgentReview захватывает скрытые переменные при уважении к конфиденциальности конфиденциальных данных рецензирования.

Академическая реферат

Оценка сверстников имеет основополагающее значение для целостности и развития научной публикации. Традиционные методы рассмотрения сверстников часто полагаются на разведку и статистику существующих данных по рассмотрению сверстников, которые не имеют адекватного решения многомерного характера процесса, учитывают скрытые переменные и более ограничены проблемами конфиденциальности из -за чувствительного характера данных. Мы вводим AgentReview, первую большую языковую модель (LLM), основанную на обозревании рецензирования, которая эффективно распутывает воздействие множества скрытых факторов и решает проблему конфиденциальности. Наше исследование выявляет значительное понимание, в том числе заметные вариации 37,1% в бумажных решениях из -за предубеждений рецензентов, поддерживаемых социологическими теориями, такими как теория социального влияния, усталость альтруизма и предвзятость авторитета. Мы считаем, что это исследование может предложить ценную информацию для улучшения проектирования механизмов обзора.

Начиная

Установка

Загрузите данные

Загрузите оба файла ZIP в этом Dropbox:

UNZIP AGGERREVIEW_PAPER_DATA.ZIP по data/ , который содержит:

1. PDF -версии бумаги
2. Основной рецензирование в реальном мире для ICLR 2020 - 2023

unzip AgentReview_Paper_Data.zip -d data/

(Необязательно) UNZIP AgentReview_llm_reviews.zip в рамках outputs/ , который содержит сгенерированные LLM отзывы (наш набор данных, сгенерированный LLM)

unzip AgentReview_LLM_Review.zip -d outputs/

Установите необходимые пакеты :

 cd AgentReview/
pip install -r requirements.txt

3. Установить переменные среды

Если вы используете API OpenAI, установите OpenAI_API_KEY.

 export OPENAI_API_KEY=... # Format: sk-...

Если вы используете Api Azureopenai, установите следующее

 export AZURE_ENDPOINT=...  # Format: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=...  # Your Azure OpenAI deployment here
export AZURE_OPENAI_KEY=... # Your Azure OpenAI key here

Запуск проекта

Установите переменные среды в run.sh и запустите:

bash run.sh

ПРИМЕЧАНИЕ. Все файлы проекта должны быть запускаются из каталога AgentReview .

Демо

Демо можно найти в notebooks/demo.ipynb

Настройка собственной среды

Вы можете добавить новую настройку в agentreview/experiment_config.py , затем добавить настройку в качестве новой записи в словарь all_settings :

 all_settings = {
    "BASELINE" : baseline_setting ,
    "benign_Rx1" : benign_Rx1_setting ,
    ...
    " your_setting_name ": your_setting 

Обзор структуры

Сценический дизайн

Наше моделирование принимает структурированный 5-фазный трубопровод

• Фаза I. Оценка рецензента. Каждая рукопись оценивается тремя рецензентами независимо.
• Фаза II. Обсуждение автора-рецензента. Авторы отправляют опровержения для решения проблем рецензентов;
• Фаза III. Обсуждение рецензента-AC. AC облегчает дискуссии между рецензентами, что предлагает обновления их первоначальных оценок.
• Фаза IV. Мета-обзор компиляции. AC синтезирует дискуссии в мета-обзор.
• Фаза V. бумажное решение. AC принимает окончательное решение о том, принимать ли или отклонить статью, основываясь на всех собранных входных данных.

Примечание

• Мы используем фиксированную скорость принятия 32%, что соответствует фактическому уровню принятия ICLR 2020 - 2023. См. Показатели приемлемости конференции для получения дополнительной информации.
• Иногда API может применять строгую фильтрацию к запросу. Возможно, вам придется отрегулировать фильтрацию контента, чтобы получить желаемые результаты.

Лицензия

Этот проект лицензирован по лицензии Apache-2.0.

Благодарности

Реализация частично основана на структуре Chatarena.