AgentReview
1.0.0
| عنوان | الرموز التعبيرية | colorfrom | كولورتو | SDK | sdk_version | app_file | مثبت | رخصة | Short_description |
|---|---|---|---|---|---|---|---|---|---|
AgentReview | ؟ | النيلي | لون القرنفل | غراد | 5.4.0 | app.py | خطأ شنيع | Apache-2.0 | EMNLP 2024 |
التنفيذ الرسمي للورقة الرئيسية (emnlp 2024 الرئيسية (عن طريق الفم) - AgentReview: استكشاف ديناميات مراجعة الأقران مع وكلاء LLM
Demo ｜ موقع الويب | ؟ ورقة | ؟ ARXIV ｜ رمز
@inproceedings { jin2024agentreview ,
title = { AgentReview: Exploring Peer Review Dynamics with LLM Agents } ,
author = { Jin, Yiqiao and Zhao, Qinlin and Wang, Yiyang and Chen, Hao and Zhu, Kaijie and Xiao, Yijia and Wang, Jindong } ,
booktitle = { EMNLP } ,
year = { 2024 }
}
AgentReview هو إطار عمل رائد في نموذج اللغة (LLM) لمحاكاة عمليات مراجعة الأقران ، تم تطويره لتحليل ومعالجة العوامل المعقدة متعددة المتغيرات التي تؤثر على نتائج المراجعة. على عكس الأساليب الإحصائية التقليدية ، يلتقط AgentReview المتغيرات الكامنة مع احترام خصوصية بيانات مراجعة الأقران الحساسة.
مراجعة الأقران أمر أساسي لسلامة ونشر النشر العلمي. غالبًا ما تعتمد الطرق التقليدية لتحليلات مراجعة الأقران على الاستكشاف والإحصاءات لبيانات مراجعة النظراء الحالية ، والتي لا تعالج بشكل كاف الطبيعة متعددة المتغيرات للعملية ، وتوافق على المتغيرات الكامنة ، وتقييدها بشكل أكبر بسبب مخاوف الخصوصية بسبب الطبيعة الحساسة للبيانات. نقدم AgentReview ، أول نموذج لمحاكاة مراجعة الأقران (LLM) ، والذي يوضح بشكل فعال آثار العوامل الكامنة المتعددة ويعالج مشكلة الخصوصية. تكشف دراستنا عن رؤى مهمة ، بما في ذلك تباين ملحوظ بنسبة 37.1 ٪ في القرارات الورقية بسبب تحيزات المراجعين ، مدعومة بنظريات اجتماعية مثل نظرية التأثير الاجتماعي ، والإرهاب ، وتحيز السلطة. نعتقد أن هذه الدراسة يمكن أن تقدم رؤى قيمة لتحسين تصميم آليات مراجعة النظراء.
قم بتنزيل البيانات
قم بتنزيل كل من ملفات zip في هذا dropbox:
unsip AgentReview_Paper_Data.zip ضمن data/ ، والذي يحتوي على:
unzip AgentReview_Paper_Data.zip -d data/ (اختياري) unsip AgentReview_llm_reviews.zip ضمن outputs/ ، والتي تحتوي على المراجعات التي تم إنشاؤها بواسطة LLM ، (مجموعة البيانات التي تم إنشاؤها بواسطة LLM)
unzip AgentReview_LLM_Review.zip -d outputs/تثبيت الحزم المطلوبة :
cd AgentReview/
pip install -r requirements.txt
إذا كنت تستخدم Openai API ، فقم بتعيين Openai_API_Key.
export OPENAI_API_KEY=... # Format: sk-...إذا كنت تستخدم Azureopenai API ، فقم بتعيين ما يلي
export AZURE_ENDPOINT=... # Format: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=... # Your Azure OpenAI deployment here
export AZURE_OPENAI_KEY=... # Your Azure OpenAI key hereتشغيل المشروع
اضبط متغيرات البيئة في run.sh وقم بتشغيلها:
bash run.sh ملاحظة: يجب تشغيل جميع ملفات المشروع من دليل AgentReview .
العرض التوضيحي
يمكن العثور على عرض تجريبي في notebooks/demo.ipynb
يمكنك إضافة إعداد جديد في agentreview/experiment_config.py ، ثم إضافة الإعداد كإدخال جديد إلى قاموس all_settings :
all_settings = {
"BASELINE" : baseline_setting ,
"benign_Rx1" : benign_Rx1_setting ,
...
" your_setting_name ": your_setting تتبنى محاكاةنا خط أنابيب منظم من 5 طور
تم ترخيص هذا المشروع بموجب ترخيص Apache-2.0.
يعتمد التنفيذ جزئيًا على إطار Chatarena.
