agent studio

AgentStudio

O AgentStudio é uma trindade de ambientes, ferramentas e benchmarks para agentes virtuais em geral interagirem com qualquer software de computador. O AgentStudio tem como alvo o Desiderata para agentes virtuais robustos, gerais e abertos, fornecendo:

1. Um ambiente leve e interativo com espaços de observação e ação altamente genéricos , por exemplo, observações de vídeo e ações da GUI/API
2. Ferramentas para criar tarefas de referência on -line, anotar elementos da GUI e rotular ações em vídeos
3. Tarefas de referência on-line que avaliam as interações da GUI e a chamada de função com auto-avaliação e feedback do idioma
4. Três conjuntos de dados de benchmark : Groundui, IDMBench e CriticBench, para habilidades fundamentais do agente, incluindo fundamento da GUI, aprendizado de vídeos e detecção de sucesso

Comparações com o trabalho existente:

Notícias

• 3 de outubro de 2024 : Liberou o Arxiv Paper V2 e uma versão completa do AgentStudio, incluindo documentação abrangente, tarefas completas e conjuntos de dados !!
• 18 de agosto de 2024 : Atualização principal para limpar a base de código e os conjuntos de dados.
• 30 de março de 2024 : lançou a versão beta do AgentStudio.

Instalação

Instalar requisitos:

apt-get install gnome-screenshot xclip xdotool  # If using Ubuntu 22.04
conda create --name agent-studio python=3.11 -y
conda activate agent-studio
pip install -e ' .[client] '

Todas as teclas de API confidenciais devem ser armazenadas em agent_studio/config/api_key.json , por exemplo, chave de API do OpenAI, chave da API Claude, chave de gemini API, etc. Fornecemos uma configuração de exemplo em agent_studio/config/api_key_template.json .

AGENTSTUDIO Geral de referência tarefas

O AgentStudio fornece os espaços de observação e ação mais genéricos, que expandem significativamente o espaço da tarefa, permitindo desenvolver e avaliar agentes em configurações do mundo real. Introduzimos um conjunto de benchmark composto por 205 tarefas. Essas tarefas abrangem usos de API, como terminal e software Gmail e GUI, como o código VS. Encontre mais em avalvador_online_benchmarks/readme.md. Os arquivos relacionados à tarefa estão disponíveis em nossa página do projeto.

Os conjuntos de dados do AgentStudio decompõem as habilidades do agente

Para obter informações mais profundas sobre os recursos do agente além do desempenho geral medido por tarefas de referência on -line, desenvolvemos três conjuntos de dados usando o AgentStudio: Sroundui, IdMbench e CriticBench. Esses conjuntos de dados têm como alvo o aterramento geral da interface do usuário, aprendendo com vídeos e detecção de sucesso. Mais detalhes são fornecidos em EVAL_AGENT_DESIDERATA/README.MD. Todos os dados estão disponíveis na nossa página do projeto.

Ferramentas do AgentStudio

Para facilitar o desenvolvimento e avaliação de agentes no ambiente do agente, fornecemos três ferramentas para:

• Criação e validação de tarefas de referência
• Anotação do elemento GUI no nível do passo
• Gravação e refinamento de ação de vídeo em nível de trajetória

Essas ferramentas, combinadas com o ambiente realista do AgentStudio, contribuem para a geração de dados ricos e estruturados para o treinamento e avaliação de agentes. Consulte o docs/anote_ground_ui.md para a ferramenta de anotação GUI, agente_studio/gravador/readme.md para a ferramenta de anotação de ação de vídeo e avaliação e avaliação e validação avaliados.

Contribuindo

Contribuições e feedback de todos sobre como transformar isso em uma ferramenta melhor são mais do que bem -vindos. Confira contribuindo.md para como se envolver.

Reconhecimento

Gostaríamos de agradecer aos seguintes projetos por sua inspiração e contribuições para a comunidade de código aberto: intérprete aberto, webarena, berço, sinapse, seeclick, screenagent, Osworld, etc.

Citação

Se você achar útil o AgentStudio, cite nosso artigo:

 @article { zheng2024agentstudio ,
  title = { AgentStudio: A Toolkit for Building General Virtual Agents } ,
  author = { Longtao Zheng and Zhiyuan Huang and Zhenghai Xue and Xinrun Wang and Bo An and Shuicheng Yan } ,
  journal = { arXiv preprint arXiv:2403.17918 } ,
  year = { 2024 }
}