AgentReview
1.0.0
| タイトル | 絵文字 | 色から | コロルト | SDK | sdk_version | app_file | ピン留め | ライセンス | short_description |
|---|---|---|---|---|---|---|---|---|---|
agentReview | ？ | インジゴ | ピンク | グラデーション | 5.4.0 | app.py | 間違い | Apache-2.0 | EMNLP 2024 |
？EMNLP 2024メイントラック（オーラル）ペーパーの公式実装 -エージェントレビュー：LLMエージェントとのピアレビューダイナミクスの探索
デモ｜ウェブサイト| ？論文| ？arxiv ｜コード
@inproceedings { jin2024agentreview ,
title = { AgentReview: Exploring Peer Review Dynamics with LLM Agents } ,
author = { Jin, Yiqiao and Zhao, Qinlin and Wang, Yiyang and Chen, Hao and Zhu, Kaijie and Xiao, Yijia and Wang, Jindong } ,
booktitle = { EMNLP } ,
year = { 2024 }
}
AgentReviewは、レビューの結果に影響を与える複雑で多変量因子を分析および対処するために開発された、ピアレビュープロセスをシミュレートするための先駆的な大規模な言語モデル（LLM）ベースのフレームワークです。従来の統計的方法とは異なり、AgentReviewは、敏感なピアレビューデータのプライバシーを尊重しながら、潜在変数をキャプチャします。
ピアレビューは、科学的出版物の完全性と進歩の基本です。従来のピアレビュー分析の方法は、しばしばプロセスの多変量性に適切に対処せず、潜在変数を説明し、データのデリケートな性質によりプライバシーの懸念によってさらに制約されている既存のピアレビューデータの探査と統計に依存しています。最初の大規模な言語モデル（LLM）ベースのピアレビューシミュレーションフレームワークであるAgentReviewを紹介します。これは、複数の潜在要因の影響を効果的に解き放ち、プライバシーの問題に対処します。私たちの研究では、社会的影響理論、利他主義疲労、権威の偏見などの社会学的理論によってサポートされているレビュアーの偏見による紙の決定の顕著な37.1％の変動など、重要な洞察が明らかになりました。この研究は、ピアレビューメカニズムの設計を改善するための貴重な洞察を提供できると考えています。
データをダウンロードします
このドロップボックスで両方のzipファイルをダウンロードします。
unzip agentreview_paper_data.zip data/ 、それには以下が含まれます。
unzip AgentReview_Paper_Data.zip -d data/ （オプション）unzip agentReview_llm_reviews.zip under outputs/ 、これにはLLMで生成されたレビューが含まれています（LLM生成データセット）
unzip AgentReview_LLM_Review.zip -d outputs/必要なパッケージをインストールします：
cd AgentReview/
pip install -r requirements.txt
Openai APIを使用する場合は、OpenAi_Api_Keyを設定します。
export OPENAI_API_KEY=... # Format: sk-...Azureopenai APIを使用する場合は、次のように設定します
export AZURE_ENDPOINT=... # Format: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=... # Your Azure OpenAI deployment here
export AZURE_OPENAI_KEY=... # Your Azure OpenAI key hereプロジェクトを実行します
run.shに環境変数を設定して実行します。
bash run.sh注：すべてのプロジェクトファイルは、 AgentReviewディレクトリから実行する必要があります。
デモ
デモはnotebooks/demo.ipynbにあります
agentreview/experiment_config.pyに新しい設定を追加してから、 all_settings辞書への新しいエントリとして設定を追加できます。
all_settings = {
"BASELINE" : baseline_setting ,
"benign_Rx1" : benign_Rx1_setting ,
...
" your_setting_name ": your_setting 当社のシミュレーションは、構造化された5相パイプラインを採用しています
このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。
実装は、部分的にChatarenaフレームワークに基づいています。
