agent studio
1.0.0
Agentstudio는 일반 가상 에이전트가 모든 컴퓨터 소프트웨어와 상호 작용할 수있는 환경, 도구 및 벤치 마크의 삼위 일체 입니다. Agentstudio는 다음을 제공하여 강력하고 일반 및 개방형 가상 에이전트를 위해 Desiderata를 대상으로합니다.
기존 작업과 비교 :
요구 사항 설치 :
apt-get install gnome-screenshot xclip xdotool # If using Ubuntu 22.04
conda create --name agent-studio python=3.11 -y
conda activate agent-studio
pip install -e ' .[client] ' 모든 기밀 API 키는 agent_studio/config/api_key.json , 예를 들어, OpenAI API 키, Claude API 키, Gemini API 키 등에 저장되어야합니다. agent_studio/config/api_key_template.json 에 예제 구성을 제공했습니다.
Agentstudio는 가장 일반적인 관찰 및 행동 공간을 제공하여 작업 공간을 크게 확장하여 실제 설정에서 에이전트를 개발하고 평가할 수 있습니다. 우리는 205 개의 작업으로 구성된 벤치 마크 스위트를 소개합니다. 이러한 작업은 Terminal 및 Gmail 및 VS Code와 같은 GUI 소프트웨어와 같은 API 사용법에 걸쳐 있습니다. eval_online_benchmarks/readme.md에서 자세한 내용을 확인하십시오. 작업 관련 파일은 프로젝트 페이지에서 사용할 수 있습니다.
온라인 벤치 마크 작업으로 측정 된 전반적인 성능을 넘어서 에이전트 기능에 대한 더 깊은 통찰력을 얻으려면 AgentStudio를 사용하여 GroundUI, IDMBench 및 CriticBench를 사용하여 세 가지 데이터 세트를 개발합니다. 이 데이터 세트는 일반 UI 접지, 비디오 학습 및 성공 감지를 대상으로합니다. 자세한 내용은 Eval_agent_Desiderata/readme.md에 제공됩니다. 모든 데이터는 프로젝트 페이지에서 사용할 수 있습니다.
AgentStudio 환경 내에서 에이전트의 개발 및 평가를 용이하게하기 위해 다음을위한 세 가지 도구를 제공합니다.
이 도구는 Agentstudio의 현실적인 환경과 결합하여 훈련 및 평가를위한 풍부하고 구조화 된 데이터의 생성에 기여합니다. GUI Annotation Tool, Agent_studio/Recorder/Readme.md의 경우 Docs/Annotate_ground_ui.md를 참조하십시오.
더 나은 도구로 만드는 방법에 대한 모든 사람의 기여와 피드백은 환영받는 것 이상입니다. 참여 방법은 Contributing.md를 확인하십시오.
오픈 소스 커뮤니티에 대한 영감과 기여에 대해 다음 프로젝트에 감사드립니다 : Open Interpreter, Webarena, Cradle, Synapse, Seeclick, Screenagent, Osworld 등.
AgentStudio가 유용하다고 생각되면 논문을 인용하십시오.
@article { zheng2024agentstudio ,
title = { AgentStudio: A Toolkit for Building General Virtual Agents } ,
author = { Longtao Zheng and Zhiyuan Huang and Zhenghai Xue and Xinrun Wang and Bo An and Shuicheng Yan } ,
journal = { arXiv preprint arXiv:2403.17918 } ,
year = { 2024 }
}
