الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

AgentStudio

AgentStudio هو الثالوث للبيئات والأدوات والمعايير للعوامل الافتراضية العامة للتفاعل مع أي برنامج كمبيوتر. يستهدف AgentStudio Desiderata للوكلاء الافتراضيين القويين والعامة والمفتوحين من خلال توفير:

  1. بيئة خفيفة الوزن وتفاعلية مع مساحات مراقبة ومساحات عام
  2. أدوات لإنشاء المهام القياسية عبر الإنترنت ، وشرح عناصر واجهة المستخدم الرسومية ، وإجراءات وضع العلامات في مقاطع الفيديو
  3. المهام القياسية عبر الإنترنت التي تقيم كل من تفاعلات واجهة المستخدم الرسومية واتصالات الوظيفة مع التقييم التلقائي وتعليقات اللغة
  4. ثلاث مجموعات بيانات مرجعية : Groundui و IdMbench و CriticBench ، لقدرات الوكيل الأساسية ، بما في ذلك تأريض واجهة المستخدم الرسومية ، والتعلم من مقاطع الفيديو ، والكشف عن النجاح

مقارنات مع العمل الحالي:

أخبار

  • 3 أكتوبر ، 2024 : تم إصدار Arxiv Paper V2 ونسخة كاملة من AgentStudio ، بما في ذلك الوثائق الشاملة والمهام الكاملة ومجموعات البيانات !!
  • 18 أغسطس 2024 : تحديث رئيسي لتنظيف قاعدة البيانات ومجموعات البيانات.
  • 30 مارس ، 2024 : أصدرت النسخة التجريبية من AgentStudio.

تثبيت

متطلبات التثبيت: 

apt-get install gnome-screenshot xclip xdotool  # If using Ubuntu 22.04
conda create --name agent-studio python=3.11 -y
conda activate agent-studio
pip install -e ' .[client] '

يجب تخزين جميع مفاتيح API السرية في agent_studio/config/api_key.json ، EG ، Openai API Key ، Claude API Key ، Gemini agent_studio/config/api_key_template.json ، إلخ.

AgentStudio المهام القياسية الشاملة

يوفر AgentStudio أكثر مساحات المراقبة والعمل العام ، مما يوسع مساحة المهمة بشكل كبير ، مما يسمح بتطوير وتقييم العوامل في إعدادات العالم الحقيقي. نقدم جناحًا قياسيًا يتكون من 205 مهمة. تمتد هذه المهام إلى استخدامات API مثل برنامج Terminal و Gmail و GUI مثل VS Code. يرجى العثور على المزيد في eval_online_benchmarks/readMe.md. تتوفر الملفات المتعلقة بالمهمة في صفحة المشروع الخاصة بنا.

مجموعات بيانات AgentStudio تتحلل قدرات الوكيل

لاكتساب رؤى أعمق في قدرات الوكلاء تتجاوز الأداء الكلي الذي تم قياسه بواسطة المهام القياسية عبر الإنترنت ، نقوم بتطوير ثلاث مجموعات بيانات باستخدام AgentStudio: Groundui و IdMbench و CriticBench. تستهدف مجموعات البيانات هذه أساسًا للاتصال العام ، والتعلم من مقاطع الفيديو ، والكشف عن النجاح. يتم توفير مزيد من التفاصيل في eval_agent_desiderata/readme.md. جميع البيانات متوفرة في صفحة المشروع لدينا.

أدوات AgentStudio

لتسهيل تطوير وتقييم الوكلاء داخل بيئة AgentStudio ، نقدم ثلاث أدوات لـ:

  • إنشاء المهام القياسية والتحقق من الصحة
  • شرح عنصر واجهة المستخدم الرسومية على مستوى الخطوة
  • تسجيل وعمل الفيديو على مستوى المسار

تساهم هذه الأدوات ، إلى جانب البيئة الواقعية لـ AgentStudio ، في توليد البيانات الغنية المنظمة للتدريب وتقييم الوكلاء. يرجى الرجوع إلى docs/incsate_ground_ui.md لأداة التعليقات التوضيحية واجهة المستخدم الرسومية ، Agent_studio/recorder/readme.md لأداة التعليق التوضيحي لعمل الفيديو ، و eval_online_benchmarks/readMe.md لإنشاء المهمة/التحقق من صحة.

المساهمة

المساهمات والتعليقات من الجميع حول كيفية جعل هذا في أداة أفضل موضع ترحيب. يرجى مراجعة المساهمة. md لكيفية المشاركة.

شكر وتقدير

نود أن نشكر المشاريع التالية على إلهامها ومساهماتها في مجتمع المصدر المفتوح: مترجم مفتوح ، Webarena ، Cradle ، المشابك ، Seeclick ، ​​Screenagent ، OSWorld ، إلخ.

اقتباس

إذا وجدت AgentStudio مفيدًا ، فيرجى الاستشهاد بالورقة: 

 @article { zheng2024agentstudio ,
  title = { AgentStudio: A Toolkit for Building General Virtual Agents } ,
  author = { Longtao Zheng and Zhiyuan Huang and Zhenghai Xue and Xinrun Wang and Bo An and Shuicheng Yan } ,
  journal = { arXiv preprint arXiv:2403.17918 } ,
  year = { 2024 }
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل