agent studio

AgentStudio

AgentStudio是环境，工具和基准的三位一体，可以使一般虚拟代理与任何计算机软件进行交互。 AgentStudio通过提供以下方式将Desiderata瞄准了稳健，一般和开放式虚拟代理：

1. 轻巧的互动环境，具有高通用的观察和动作空间，例如，视频观察和GUI/API动作
2. 用于创建在线基准任务，注释GUI元素和标记视频中的动作的工具
3. 通过自动评估和语言反馈评估GUI互动和功能调用的在线基准任务
4. 三个基准数据集：GROUNDUI，IDMBENCH和CriticBench，用于基本的代理能力，包括GUI接地，从视频中学习和成功检测

与现有工作的比较：

消息

• 2024年10月3日：发布了Arxiv Paper V2和AgentStudio的完整版本，包括综合文档，完整任务和数据集！
• 2024年8月18日：重大更新以清理代码库和数据集。
• 2024年3月30日：发布了Beta版的AgentStudio。

安装

安装要求：

apt-get install gnome-screenshot xclip xdotool  # If using Ubuntu 22.04
conda create --name agent-studio python=3.11 -y
conda activate agent-studio
pip install -e ' .[client] '

所有机密API键都应存储在agent_studio/config/api_key.json ，EG，OpenAI API键，Claude API密钥，Gemini API键等中。我们在agent_studio/config/api_key_template.json中提供了示例config。

AgentStudio总体基准任务

AgentStudio提供了最通用的观察和动作空间，可大大扩展任务空间，从而可以在现实世界中开发和评估代理。我们介绍了一个由205个任务组成的基准套件。这些任务涵盖了API的用法，例如终端和Gmail和GUI软件，例如VS代码。请在este_online_benchmarks/readme.md中找到更多信息。与任务相关的文件可在我们的项目页面上找到。

AgentStudio数据集分解代理能力

为了更深入了解代理能力超出在线基准任务所衡量的整体性能之外，我们使用AgentStudio：groundui，iDmbench和Critistbench开发了三个数据集。这些数据集针对一般UI接地，从视频中学习和成功检测。更多详细信息在eval_agent_desiderata/readme.md中提供。所有数据均可在我们的项目页面上找到。

AgentStudio工具

为了促进代理商环境中代理的开发和评估，我们为以下工具提供了三个工具：

• 基准任务创建和验证
• 级别GUI元素注释
• 轨迹级视频录制和精致

这些工具，结合了代理商的现实环境，有助于生成丰富的，结构化的数据，用于培训和评估代理。请参阅DOCS/ANNOTATE_GOOND_UI.MD以获取GUI注释工具，Agent_studio/Recorder/readme.md，以获取视频操作注释工具，以及eval_online_benchmarks/readme.md，用于任务创建/验证。

贡献

每个人的贡献和反馈如何使其成为更好的工具。请查看有关如何参与的贡献。

致谢

我们要感谢以下项目的灵感和对开源社区的贡献：开放口译员，Webarena，Cradle，Synapse，Seeclick，Seeclick，Crafenagent，Osworld等。

引用

如果您觉得AgentStudio有用，请引用我们的论文：

 @article { zheng2024agentstudio ,
  title = { AgentStudio: A Toolkit for Building General Virtual Agents } ,
  author = { Longtao Zheng and Zhiyuan Huang and Zhenghai Xue and Xinrun Wang and Bo An and Shuicheng Yan } ,
  journal = { arXiv preprint arXiv:2403.17918 } ,
  year = { 2024 }
}