AgentReview
1.0.0
| ชื่อ | อีโมจิ | สีจาก | น้ำโคลอร์โต | SDK | sdk_version | app_file | ที่ถูกตรึง | ใบอนุญาต | short_description |
|---|---|---|---|---|---|---|---|---|---|
AgentReview | - | คราม | สีชมพู | Gradeio | 5.4.0 | app.py | เท็จ | Apache-2.0 | EMNLP 2024 |
การใช้งานอย่างเป็นทางการสำหรับกระดาษ? EMNLP 2024 Main Track (Oral) Paper - AgentReview: การสำรวจพลวัตการทบทวนเพียร์กับตัวแทน LLM
การสาธิต ｜ เว็บไซต์ | - กระดาษ | ? arxiv ｜ รหัส
@inproceedings { jin2024agentreview ,
title = { AgentReview: Exploring Peer Review Dynamics with LLM Agents } ,
author = { Jin, Yiqiao and Zhao, Qinlin and Wang, Yiyang and Chen, Hao and Zhu, Kaijie and Xiao, Yijia and Wang, Jindong } ,
booktitle = { EMNLP } ,
year = { 2024 }
}
AgentReview เป็นแบบจำลองภาษาขนาดใหญ่ (LLM)-กรอบการทำงานสำหรับการจำลองกระบวนการตรวจสอบเพียร์พัฒนาเพื่อวิเคราะห์และจัดการกับปัจจัยที่ซับซ้อนและหลายตัวแปรที่มีอิทธิพลต่อผลการตรวจสอบ ซึ่งแตกต่างจากวิธีการทางสถิติแบบดั้งเดิม AgentReview จับตัวแปรแฝงในขณะที่เคารพความเป็นส่วนตัวของข้อมูลการตรวจสอบโดยเพื่อนที่ละเอียดอ่อน
การทบทวนโดยเพื่อนเป็นพื้นฐานของความซื่อสัตย์และความก้าวหน้าของสิ่งพิมพ์ทางวิทยาศาสตร์ วิธีการแบบดั้งเดิมของการวิเคราะห์การทบทวนโดยเพื่อนมักจะพึ่งพาการสำรวจและสถิติของข้อมูลการตรวจสอบเพียร์ที่มีอยู่ซึ่งไม่ได้กล่าวถึงลักษณะหลายตัวแปรของกระบวนการอย่างเพียงพอบัญชีสำหรับตัวแปรแฝงและถูก จำกัด โดยความกังวลด้านความเป็นส่วนตัวเนื่องจากลักษณะที่ละเอียดอ่อนของข้อมูล เราแนะนำ AgentReview รูปแบบภาษาขนาดใหญ่ครั้งแรก (LLM) เฟรมเวิร์กการตรวจสอบการทบทวนโดยเพียร์ซึ่งทำให้เกิดผลกระทบของปัจจัยแฝงหลายอย่างได้อย่างมีประสิทธิภาพและแก้ไขปัญหาความเป็นส่วนตัว การศึกษาของเราเผยให้เห็นข้อมูลเชิงลึกที่สำคัญรวมถึงการเปลี่ยนแปลงที่โดดเด่น 37.1% ในการตัดสินใจของกระดาษเนื่องจากอคติของผู้ตรวจสอบได้รับการสนับสนุนโดยทฤษฎีทางสังคมวิทยาเช่นทฤษฎีอิทธิพลทางสังคมความเหนื่อยล้าของผู้อื่นและอคติ เราเชื่อว่าการศึกษานี้สามารถนำเสนอข้อมูลเชิงลึกที่มีค่าเพื่อปรับปรุงการออกแบบกลไกการทบทวนเพื่อน
ดาวน์โหลดข้อมูล
ดาวน์โหลดไฟล์ zip ทั้งสองใน dropbox นี้:
UNZIP AgentReview_paper_data.zip ภายใต้ data/ ซึ่งมี:
unzip AgentReview_Paper_Data.zip -d data/ (ไม่บังคับ) UNZIP AgentReview_LLM_REVIEWS.ZIP ภายใต้ outputs/ ซึ่งมีบทวิจารณ์ที่สร้างขึ้น LLM (ชุดข้อมูลที่สร้าง LLM ของเรา)
unzip AgentReview_LLM_Review.zip -d outputs/ติดตั้งแพ็คเกจที่ต้องการ :
cd AgentReview/
pip install -r requirements.txt
หากคุณใช้ OpenAI API ให้ตั้งค่า openai_api_key
export OPENAI_API_KEY=... # Format: sk-...หากคุณใช้ Azureopenai API ให้ตั้งค่าต่อไปนี้
export AZURE_ENDPOINT=... # Format: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=... # Your Azure OpenAI deployment here
export AZURE_OPENAI_KEY=... # Your Azure OpenAI key hereดำเนินโครงการ
ตั้งค่าตัวแปรสภาพแวดล้อมใน run.sh และเรียกใช้:
bash run.sh หมายเหตุ: ไฟล์โครงการทั้งหมดควรเรียกใช้จากไดเรกทอรี AgentReview
การสาธิต
การสาธิตสามารถพบได้ใน notebooks/demo.ipynb
คุณสามารถเพิ่มการตั้งค่าใหม่ใน agentreview/experiment_config.py จากนั้นเพิ่มการตั้งค่าเป็นรายการใหม่ในพจนานุกรม all_settings :
all_settings = {
"BASELINE" : baseline_setting ,
"benign_Rx1" : benign_Rx1_setting ,
...
" your_setting_name ": your_setting การจำลองของเราใช้ท่อส่ง 5 เฟสที่มีโครงสร้าง 5 เฟส
โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache-2.0
การใช้งานจะขึ้นอยู่กับกรอบ Chatarena บางส่วน
