agent studio

ตัวแทน

AgentStudio เป็น ตรีเอกานุภาพของสภาพแวดล้อมเครื่องมือและมาตรฐาน สำหรับตัวแทนเสมือนทั่วไปทั่วไปเพื่อโต้ตอบกับซอฟต์แวร์คอมพิวเตอร์ใด ๆ AgentStudio กำหนดเป้าหมายไปที่ Desiderata สำหรับตัวแทนเสมือนจริงที่แข็งแกร่งทั่วไปและปลายเปิดโดยการให้:

1. สภาพแวดล้อมแบบโต้ตอบที่มีน้ำหนักเบา พร้อม การสังเกตทั่วไปและพื้นที่แอ็คชั่น เช่นการสังเกตวิดีโอและการกระทำ GUI/API
2. เครื่องมือสำหรับการสร้างงานมาตรฐานออนไลน์การใส่คำอธิบายประกอบองค์ประกอบ GUI และการติดฉลากในวิดีโอ
3. งานเกณฑ์มาตรฐานออนไลน์ ที่ประเมินทั้งการโต้ตอบ GUI และฟังก์ชั่นการโทรด้วย การประเมินค่าอัตโนมัติ และข้อเสนอแนะทางภาษา
4. ชุดข้อมูลมาตรฐานสามชุด : Groundui, Idmbench และ Criticbench สำหรับความสามารถของตัวแทนพื้นฐานรวมถึงการลงดิน GUI การเรียนรู้จากวิดีโอและการตรวจจับความสำเร็จ

เปรียบเทียบกับงานที่มีอยู่:

ข่าว

• 3 ต.ค. 2024 : เปิดตัว Arxiv Paper V2 และ AgentStudio เวอร์ชันเต็มรวมถึงเอกสารที่ครอบคลุมงานที่สมบูรณ์และชุดข้อมูล !!
• 18 ส.ค. 2024 : การอัปเดตที่สำคัญเพื่อทำความสะอาดชุดข้อมูลและชุดข้อมูล
• 30 มี.ค. 2024 : เปิดตัว AgentStudio รุ่นเบต้า

การติดตั้ง

การติดตั้งข้อกำหนด:

apt-get install gnome-screenshot xclip xdotool  # If using Ubuntu 22.04
conda create --name agent-studio python=3.11 -y
conda activate agent-studio
pip install -e ' .[client] '

คีย์ API ที่เป็นความลับทั้งหมดควรเก็บไว้ใน agent_studio/config/api_key.json , เช่นคีย์ OpenAI API, คีย์ Claude API, คีย์ Gemini API ฯลฯ เราได้จัดทำตัวอย่างใน agent_studio/config/api_key_template.json

งานเกณฑ์มาตรฐาน AgentStudio

AgentStudio ให้การสังเกตการณ์ทั่วไปและพื้นที่ดำเนินการทั่วไปซึ่งขยายพื้นที่งานอย่างมีนัยสำคัญช่วยให้สามารถพัฒนาและประเมินผลตัวแทนในการตั้งค่าในโลกแห่งความเป็นจริง เราแนะนำชุดมาตรฐานประกอบด้วย 205 งาน งานเหล่านี้ครอบคลุมการใช้งาน API เช่นซอฟต์แวร์ Terminal และ Gmail และ GUI เช่น VS Code โปรดค้นหาเพิ่มเติมใน eval_online_benchmarks/readme.md ไฟล์ที่เกี่ยวข้องกับงานมีอยู่ที่หน้าโครงการของเรา

ชุดข้อมูล AgentStudio สลายความสามารถของตัวแทน

เพื่อให้ได้ข้อมูลเชิงลึกที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับความสามารถของตัวแทนนอกเหนือจากประสิทธิภาพโดยรวมที่วัดโดยงานมาตรฐานออนไลน์เราพัฒนาชุดข้อมูลสามชุดโดยใช้ AgentStudio: Groundui, Idmbench และ Criticbench ชุดข้อมูลเหล่านี้กำหนดเป้าหมายการต่อสายดิน UI ทั่วไปการเรียนรู้จากวิดีโอและการตรวจจับความสำเร็จ รายละเอียดเพิ่มเติมมีให้ใน eval_agent_desiderata/readme.md ข้อมูลทั้งหมดมีอยู่ที่หน้าโครงการของเรา

เครื่องมือ AgentStudio

เพื่ออำนวยความสะดวกในการพัฒนาและประเมินผลของตัวแทนภายในสภาพแวดล้อม AgentStudio เรามีเครื่องมือสามอย่างสำหรับ:

• การสร้างงานและการตรวจสอบงานมาตรฐาน
• คำอธิบายประกอบองค์ประกอบ GUI ระดับขั้นตอน
• การบันทึกและปรับแต่งวิดีโอแอ็คชั่นระดับวิถี

เครื่องมือเหล่านี้รวมกับสภาพแวดล้อมที่เป็นจริงของ AgentStudio มีส่วนช่วยในการสร้างข้อมูลที่มีโครงสร้างที่หลากหลายสำหรับการฝึกอบรมและการประเมินผลตัวแทน โปรดดูเอกสาร/Annotate_ground_ui.md สำหรับเครื่องมือคำอธิบายประกอบ GUI, Agent_Studio/Recorder/Readme.md สำหรับเครื่องมือบันทึกคำอธิบายประกอบการกระทำวิดีโอและ eval_online_benchmarks/readme.md สำหรับการสร้างงาน/การตรวจสอบงาน

การบริจาค

การมีส่วนร่วมและข้อเสนอแนะจากทุกคนเกี่ยวกับวิธีการทำสิ่งนี้ให้เป็นเครื่องมือที่ดีกว่านั้นเป็นมากกว่าการต้อนรับ โปรดตรวจสอบการบริจาค MD สำหรับวิธีการเข้าร่วม

การรับทราบ

เราขอขอบคุณโครงการต่อไปนี้สำหรับแรงบันดาลใจและการมีส่วนร่วมในชุมชนโอเพนซอร์ซ: Open Interpreter, Webarena, Cradle, Synapse, Seeclick, Screenagent, Osworld ฯลฯ

การอ้างอิง

หากคุณพบว่า AgentStudio มีประโยชน์โปรดอ้างอิงกระดาษของเรา:

 @article { zheng2024agentstudio ,
  title = { AgentStudio: A Toolkit for Building General Virtual Agents } ,
  author = { Longtao Zheng and Zhiyuan Huang and Zhenghai Xue and Xinrun Wang and Bo An and Shuicheng Yan } ,
  journal = { arXiv preprint arXiv:2403.17918 } ,
  year = { 2024 }
}