chatarena

LLMS的多代理语言游戏环境

---

Chatarena是一个提供多代理语言游戏环境的图书馆，并促进了有关自主LLM代理商及其社交互动的研究。它提供以下功能：

• 抽象：它提供了一个灵活的框架来根据马尔可夫决策过程来定义多个玩家，环境及其之间的交互。
• 语言游戏环境：它提供了一组可以帮助理解，基准测试或培训代理LLM的环境。
• 用户友好的接口：它提供Web UI和CLI，以开发/提示您的LLM代理在环境中行动。

入门

尝试我们的在线演示：

安装

要求：

• python> = 3。7
• OpenAI API键（可选，用于使用GPT-3.5-Turbo或GPT-4作为LLM代理）

使用PIP安装：

pip install chatarena

或从来源安装：

pip install git+https://github.com/chatarena/chatarena

要使用GPT-3作为LLM代理，请设置OpenAI API密钥：

 export OPENAI_API_KEY= " your_api_key_here " 

可选依赖性

默认情况下pip install chatarena Chatarena核心功能所需的依赖项。您可以使用以下命令安装可选依赖项：

pip install chatarena[all_backends] # install dependencies for all supported backends: anthropic, cohere, huggingface, etc.
pip install chatarena[all_envs]     # install dependencies for all environments, such as pettingzoo
pip install chatarena[all]          # install all optional dependencies for full functionality

本地启动演示

看到Chatarena的最快方法是通过演示Web UI。要在本地计算机上启动演示，您首先要使用额外的gradio依赖性安装chatarena，然后将此存储库克隆到您的本地文件夹，最后在存储库的根目录中调用app.py ：

pip install chatarena[gradio]
git clone https://github.com/chatarena/chatarena.git
cd chatarena
gradio app.py

这将启动用于Chatarena的演示服务器，您可以从浏览器（端口8080）访问它。

查看此视频以了解如何使用Web UI：

对于开发人员

有关Chatarena框架的介绍，请参阅此文档。要进行构建新环境的演练，请检查

在这里，我们提供了最小设置的紧凑指南，以运行游戏和一些有关自定义的一般建议。

关键概念

1. 竞技场：竞技场封装了环境和一系列玩家。它驱动游戏的主要循环，并提供HCI实用程序，例如WebUI，CLI，配置加载和数据存储。
2. 环境：环境存储游戏状态并执行游戏逻辑以在游戏状态之间进行过渡。它还为玩家提供了观察，观察结果是自然语言。
   1. 游戏状态对玩家不直接可见。玩家只能看到观察结果。
3. 语言后端：语言后端是语言智能的来源。它将文本（或文本收集）作为输入，并返回响应中的文本。
4. 玩家：玩家是玩游戏的代理商。在RL术语中，这是一个策略，是从观察到动作的无状态函数映射。

与Python API一起运行游戏

来自配置文件的负载Arena - 在这里，我们在此存储库中使用examples/nlp-classroom-3players.json作为示例：

 arena = Arena . from_config ( "examples/nlp-classroom-3players.json" )
arena . run ( num_steps = 10 )

在交互式CLI界面中运行游戏：

 arena . launch_cli ()

查看此视频以了解如何使用CLI：可以在此处找到有关如何使用Finer Grean Control运行主要互动循环的更详细的指南

一般定制建议

1. 竞技场：覆盖舞台基本上意味着人们将写自己的主循环。这可以允许以更自动化的方式进行不同的互动接口或驱动游戏，例如，运行在线RL培训循环
2. 环境：一个新的环境对应于新游戏，可以在这里使用硬编码规则或规则和语言后端的混合来定义游戏动力学。
3. 后端：如果需要将格式化观测（以消息）的方式更改为语言模型的查询，则应覆盖后端。
4. 播放器：默认情况下，当喂食新的观察结果时，玩家会查询后端的语言，并将响应归还为动作。但是，也可以自定义玩家与语言后端互动的方式。

创建您的自定义环境

您可以通过扩展Environment类来定义自己的环境。这是一般步骤：

1. 通过从基类和设置type_name继承ALL_ENVIRONMENTS定义类
2. 通过定义__init__方法初始化类（其参数将定义相应的配置）并初始化类属性
3. 在方法step中实现游戏机制
4. 通过实现诸如reset ， get_observation ， is_terminal和get_rewards类的方法来处理游戏状态和奖励
5. 为使用CLI或Web UI的玩家开发角色说明提示（以及必要时的全局提示）并将其保存到配置文件中。

我们提供了一个详细的教程，以使用Chameleon环境为例，演示如何定义自定义环境。

如果您想将现有库的环境移植到Chatarena，请查看PettingzooChess环境。

环境列表

对话

模拟对话的多玩家语言游戏环境。

• NLP教室：模拟教室设置的3个玩家语言游戏环境。游戏轮流玩，每个转弯都可以问一个问题或回答问题。当所有玩家都问并回答所有问题时，游戏结束了。

主持人对话

基于对话，但使用主持人控制游戏动力学。

• 岩纸剪辑器：一个2播放器的语言游戏环境，通过主持人对话模拟岩石剪辑游戏。两位球员都将并行行动，当一个玩家赢得2轮时，比赛结束。
• TIC-TAC-TOE：一个2播放器语言游戏环境，通过主持人对话模拟TIC-TAC-TOE游戏。游戏轮流玩，玩家可以要求移动或进行动作。当一个玩家获胜或板上满是板时，游戏结束。

变色龙

一个多玩家的社交扣除游戏。游戏中有两个角色，Chameleon和Non-Chameleon。秘密单词的主题将首先向所有玩家展示。然后，秘密单词将被揭示给非chameleons。变色龙不知道秘密单词。游戏中的目标取决于玩家的角色：

• 如果您不是变色龙，那么您的目标是在不暴露秘密单词的情况下透露变色龙。
• 如果您是变色龙，那么您的目标是与其他玩家融为一体，避免被抓住，并找出秘密单词。游戏中有三个阶段：

1. 给予线索阶段：每个玩家都会描述有关秘密单词的线索。
2. 指控阶段：在这个阶段，每个球员将投票给最有可能是变色龙的球员。变色龙应投票支持其他球员。
3. 猜测阶段：如果指控是正确的，那么鉴于其他玩家揭示的线索，变色龙应该猜测秘密单词。

Pettingzoochess

使用Pettingzoo国际象棋环境的两人国际象棋游戏环境。

Pettingzoo Tictactoe

使用Pettingzoo Tictactoe环境的两种玩家TIC-TAC-TOE游戏环境。与Moderator Conversation环境不同，此环境是由硬编码规则而不是LLM主持人驱动的。

贡献

我们欢迎捐款改善和扩展Chatarena。请按照以下步骤进行贡献：

1. 分叉存储库。
2. 为您的功能或BugFix创建一个新的分支。
3. 将您的更改提交新分支。
4. 创建一个描述您更改的拉请请求。
5. 我们将查看您的拉请请求，并提供反馈或合并您的更改。

请确保您的代码遵循现有样式和结构。

引用

如果您发现Chatarena对您的研究有用，请引用我们的存储库（我们的Arxiv论文即将推出）：

 @software { ChatArena ,
  author = { Yuxiang Wu, Zhengyao Jiang, Akbir Khan, Yao Fu, Laura Ruis, Edward Grefenstette, and Tim Rocktäschel } ,
  title = { ChatArena: Multi-Agent Language Game Environments for Large Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.1 } ,
  howpublished = { url{https://github.com/chatarena/chatarena} } ,
}

接触

如果您有任何疑问或建议，请随时打开问题或提交拉动请求。您也可以在Farama Discord Server- https://discord.gg/vrtdmu9y8q上与我们联系。

聊天愉快！

赞助商

我们要感谢我们的赞助商支持该项目：

• 红杉
• shixiang Capital