AgentReview

judul	emoji	warna dari	Colorto	SDK	SDK_VERSION	app_file	disematkan	lisensi	short_description
AgenReview	?	nila	berwarna merah muda	gradio	5.4.0	app.py	PALSU	Apache-2.0	EMNLP 2024

AgenReview

Implementasi resmi untuk makalah?

Demo ｜ Situs web | ? Kertas | ? Arxiv ｜ kode

 @inproceedings { jin2024agentreview ,
  title = { AgentReview: Exploring Peer Review Dynamics with LLM Agents } ,
  author = { Jin, Yiqiao and Zhao, Qinlin and Wang, Yiyang and Chen, Hao and Zhu, Kaijie and Xiao, Yijia and Wang, Jindong } ,
  booktitle = { EMNLP } ,
  year = { 2024 }
}

---

Perkenalan

AgenReview adalah kerangka kerja berbasis model bahasa perintis (LLM) untuk mensimulasikan proses peninjauan sejawat, yang dikembangkan untuk menganalisis dan mengatasi faktor-faktor multivariat yang kompleks yang mempengaruhi hasil tinjauan. Tidak seperti metode statistik tradisional, AgentReview menangkap variabel laten sambil menghormati privasi data peer review sensitif.

Abstrak akademik

Peer Review sangat penting untuk integritas dan kemajuan publikasi ilmiah. Metode tradisional analisis peer review sering mengandalkan eksplorasi dan statistik data tinjauan sejawat yang ada, yang tidak secara memadai membahas sifat multivariat dari proses, menjelaskan variabel laten, dan lebih jauh dibatasi oleh masalah privasi karena sifat sensitif dari data. Kami memperkenalkan AgentReview, kerangka simulasi peer review model besar (LLM) pertama, yang secara efektif mengurangi dampak dari beberapa faktor laten dan mengatasi masalah privasi. Studi kami mengungkapkan wawasan yang signifikan, termasuk variasi 37,1% yang terkenal dalam keputusan kertas karena bias pengulas, didukung oleh teori sosiologis seperti teori pengaruh sosial, kelelahan altruisme, dan bias otoritas. Kami percaya bahwa penelitian ini dapat menawarkan wawasan yang berharga untuk meningkatkan desain mekanisme tinjauan sejawat.

Memulai

Instalasi

Unduh data

Unduh kedua file zip di dropbox ini:

Unzip agentReview_paper_data.zip di bawah data/ , yang berisi:

1. Versi PDF dari kertas
2. Tinjauan Peer Dunia Nyata untuk ICLR 2020 - 2023

unzip AgentReview_Paper_Data.zip -d data/

(Opsional) UNZIP AgentReview_llm_reviews.zip di bawah outputs/ , yang berisi ulasan yang dihasilkan LLM, (dataset yang dihasilkan LLM)

unzip AgentReview_LLM_Review.zip -d outputs/

Instal Paket yang Diperlukan :

 cd AgentReview/
pip install -r requirements.txt

3. Tetapkan variabel lingkungan

Jika Anda menggunakan API OpenAI, atur openai_api_key.

 export OPENAI_API_KEY=... # Format: sk-...

Jika Anda menggunakan Azureopenai API, atur yang berikut ini

 export AZURE_ENDPOINT=...  # Format: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=...  # Your Azure OpenAI deployment here
export AZURE_OPENAI_KEY=... # Your Azure OpenAI key here

Menjalankan proyek

Atur variabel lingkungan di run.sh dan jalankan:

bash run.sh

Catatan: Semua file proyek harus dijalankan dari direktori AgentReview .

Demo

Demo dapat ditemukan di notebooks/demo.ipynb

Menyesuaikan lingkungan Anda sendiri

Anda dapat menambahkan pengaturan baru di agentreview/experiment_config.py , lalu menambahkan pengaturan sebagai entri baru ke Kamus all_settings :

 all_settings = {
    "BASELINE" : baseline_setting ,
    "benign_Rx1" : benign_Rx1_setting ,
    ...
    " your_setting_name ": your_setting 

Tinjauan Kerangka

Desain Panggung

Simulasi kami mengadopsi pipa terstruktur 5-fase

• Fase I. Penilaian Peninjau. Setiap naskah dievaluasi oleh tiga pengulas secara mandiri.
• Fase II. Diskusi Penulis-Reviewer. Penulis mengirimkan sanggahan untuk mengatasi masalah pengulas;
• Fase III. Diskusi Reviewer-AC. AC memfasilitasi diskusi di antara pengulas, mendorong pembaruan untuk penilaian awal mereka.
• Fase IV. Kompilasi meta-review. AC mensintesis diskusi menjadi meta-review.
• Keputusan kertas Fase V. AC membuat keputusan akhir tentang apakah akan menerima atau menolak kertas, berdasarkan semua input yang dikumpulkan.

Catatan

• Kami menggunakan tingkat penerimaan tetap 32%, sesuai dengan tingkat penerimaan aktual ICLR 2020 - 2023. Lihat Tingkat Penerimaan Konferensi untuk informasi lebih lanjut.
• Terkadang API dapat menerapkan penyaringan ketat pada permintaan. Anda mungkin perlu menyesuaikan penyaringan konten untuk mendapatkan hasil yang diinginkan.

Lisensi

Proyek ini dilisensikan di bawah lisensi APACHE-2.0.

Ucapan Terima Kasih

Implementasinya sebagian didasarkan pada kerangka Chatarena.