chatarena

Entornos de juego de idiomas múltiples para LLM

---

Chatarena es una biblioteca que proporciona entornos de juego de idiomas de varios agentes y facilita la investigación sobre los agentes autónomos de LLM y sus interacciones sociales. Proporciona las siguientes características:

• Abstracción : proporciona un marco flexible para definir múltiples jugadores, entornos y las interacciones entre ellos, basadas en el proceso de decisión de Markov.
• Entornos de juego de idiomas : proporciona un conjunto de entornos que pueden ayudar a comprender, evaluar o capacitar al agente de entrenamiento LLM.
• Interfaces fáciles de usar : proporciona tanto interfaz de usuario web como CLI para desarrollar/pedir ingeniería de sus agentes LLM a actuar en entornos.

Empezando

Prueba nuestra demostración en línea:

Instalación

Requisitos:

• Python> = 3. 7
• Clave API OpenAI (opcional, para usar GPT-3.5-TURBO o GPT-4 como agente de LLM)

Instalar con PIP:

pip install chatarena

o instalar desde la fuente:

pip install git+https://github.com/chatarena/chatarena

Para usar GPT-3 como agente de LLM, configure su tecla API OpenAI:

 export OPENAI_API_KEY= " your_api_key_here " 

Dependencias opcionales

De manera predeterminada, pip install chatarena solo instalará dependencias necesarias para las funcionalidades centrales de Chatarena. Puede instalar dependencias opcionales con los siguientes comandos:

pip install chatarena[all_backends] # install dependencies for all supported backends: anthropic, cohere, huggingface, etc.
pip install chatarena[all_envs]     # install dependencies for all environments, such as pettingzoo
pip install chatarena[all]          # install all optional dependencies for full functionality

Iniciar la demostración localmente

La forma más rápida de ver a Chatarena en acción es a través de la interfaz de usuario web de demostración. Para iniciar la demostración en su máquina local, primero PIP instale chatarena con dependencia adicional de Gradio, luego git clone este repositorio a su carpeta local y finalmente llame a la app.py en el directorio raíz del repositorio:

pip install chatarena[gradio]
git clone https://github.com/chatarena/chatarena.git
cd chatarena
gradio app.py

Esto iniciará un servidor de demostración para Chatarena, y puede acceder a él desde su navegador (puerto 8080).

Mira este video para aprender a usar la interfaz de usuario web:

Para desarrolladores

Para obtener una introducción al marco de Chatarena, consulte este documento. Para un tutorial de construir un nuevo entorno, verifique

Aquí proporcionamos una guía compacta sobre una configuración mínima para ejecutar el juego y algunos consejos generales sobre personalización.

Conceptos clave

1. Arena : Arena encapsula un entorno y una colección de jugadores. Impulsa el bucle principal del juego y proporciona utilidades HCI como webui, CLI, carga de configuración y almacenamiento de datos.
2. Medio ambiente : el entorno almacena el estado del juego y ejecuta lógicas del juego para hacer transiciones entre los estados del juego. También hace observaciones para los jugadores, las observaciones son lenguas naturales.
   1. El estado del juego no es directamente visible para los jugadores. Los jugadores solo pueden ver las observaciones.
3. Backend del idioma : los backends del lenguaje son la fuente de inteligencia del lenguaje. Toma texto (o colección de texto) como entrada y devuelve texto en respuesta.
4. Jugador : El jugador es un agente que juega el juego. En la terminología RL, es una política, una mapeo de funciones sin estado de observaciones a acciones.

Dirige el juego con Python API

Cargar Arena desde un archivo de configuración: aquí usamos examples/nlp-classroom-3players.json en este repositorio como ejemplo:

 arena = Arena . from_config ( "examples/nlp-classroom-3players.json" )
arena . run ( num_steps = 10 )

Ejecute el juego en una interfaz CLI interactiva:

 arena . launch_cli ()

Mira este video para aprender a usar CLI: una guía más detallada sobre cómo ejecutar el bucle de interacción principal con control de grano más fino se puede encontrar aquí

Consejo de personalización general

1. Arena : la arena anulada básicamente significa que uno va a escribir su propio bucle principal. Esto puede permitir diferentes interfaces de interacción o conducir juegos de una manera más automatizada, por ejemplo, ejecutar un bucle de entrenamiento RL en línea
2. Entorno : un nuevo entorno corresponde a un nuevo juego, uno puede definir la dinámica del juego aquí con reglas codificadas o una mezcla de reglas y backend del lenguaje.
3. Backend : si uno necesita cambiar la forma de formatear observaciones (en términos de mensajes) en consultas para el modelo de idioma, el backend debe anularse.
4. Jugador : por defecto, cuando se alimenta una nueva observación, los jugadores consultan el backend del lenguaje y devolverán la respuesta como acciones. Pero también se puede personalizar la forma en que los jugadores interactúan con el backend del lenguaje.

Creando su entorno personalizado

Puede definir su propio entorno extendiendo la clase de Environment . Aquí están los pasos generales:

1. Defina la clase heredando de una clase base y configurando type_name , luego agregue la clase a ALL_ENVIRONMENTS
2. Inicialice la clase definiendo el método __init__ (sus argumentos definirán la configuración correspondiente) e inicializando los atributos de la clase
3. Implementar la mecánica del juego en step métodos
4. Manejar los estados del juego y las recompensas mediante la implementación de métodos como reset , get_observation , is_terminal Y get_rewards
5. Desarrolle las indicaciones de descripción de roles (y un mensaje global si es necesario) para los jugadores que usan CLI o UI web y guárdelos en un archivo de configuración.

Proporcionamos un tutorial detallado para demostrar cómo definir un entorno personalizado, utilizando el entorno Chameleon como ejemplo.

Si desea transferir el entorno de una biblioteca existente a Chatarena, consulte el entorno PettingzooChess como ejemplo.

Lista de entornos

Conversación

Un entorno de juego de idiomas múltiples que simula una conversación.

• Aula de PNL: un entorno de juego de idiomas de 3 jugadores que simula una configuración de clase. El juego se juega por turnos, y cada turno un jugador puede hacer una pregunta o responder una pregunta. El juego termina cuando todos los jugadores han hecho y respondieron todas las preguntas.

Conversación moderadora

Basado en la conversación, pero con un moderador que controla la dinámica del juego.

• Rock-Paper-Sissors: un entorno de juego de idiomas de 2 jugadores que simula un juego de cesionadores de papel de rock con conversación moderadora. Ambos jugadores actuarán en paralelo, y el juego termina cuando un jugador gana 2 rondas.
• Tic-Tac-Toe: un entorno de juego de idiomas de 2 jugadores que simula un juego de tic-tac-toe con conversación moderadora. El juego se juega a su vez, y cada giro un jugador puede pedir un movimiento o hacer un movimiento. El juego termina cuando un jugador gana o el tablero está lleno.

Camaleón

Un juego de deducción social de múltiples jugadores. Hay dos roles en el juego, camaleón y no chameleo. El tema de la palabra secreta se revelará por primera vez a todos los jugadores. Entonces la palabra secreta se revelará a los no chamelones. El camaleón no conoce la palabra secreta. El objetivo en el juego depende del papel del jugador:

• Si no eres un camaleón, tu objetivo es revelar el camaleón sin exponer la palabra secreta.
• Si eres un camaleón, tu objetivo es mezclar con otros jugadores, evitar ser atrapado y descubrir la palabra secreta. Hay tres etapas en el juego:

1. La etapa de las pistas de dar: cada jugador describirá las pistas sobre la palabra secreta.
2. La etapa de acusación: en esta etapa, cada jugador votará por otro jugador que probablemente sea el camaleón. El camaleón debe votar por otros jugadores.
3. La etapa de conjetura: si la acusación es correcta, el camaleón debería adivinar la palabra secreta dada las pistas reveladas por otros jugadores.

Pettingzochess

Un entorno de juego de ajedrez de dos jugadores que utiliza el entorno de ajedrez Pettingzoo.

Pettingzoo tictactoe

Un entorno de juego Tic-Tac-Toe de dos jugadores que utiliza el entorno Pettingzoo Tictactoe. A diferencia del entorno Moderator Conversation , este entorno está impulsado por reglas codificadas en lugar de un moderador LLM.

Que contribuye

Agradecemos contribuciones a mejorar y extender a Chatarena. Siga estos pasos para contribuir:

1. Bifurca el repositorio.
2. Cree una nueva rama para su característica o corrección de errores.
3. Comprometa tus cambios a la nueva rama.
4. Cree una solicitud de extracción que describa sus cambios.
5. Revisaremos su solicitud de extracción y proporcionaremos comentarios o fusionaremos sus cambios.

Asegúrese de que su código siga el estilo y la estructura existentes.

Citación

Si encuentra útil para Chatarena para su investigación, cite nuestro repositorio (nuestro artículo ARXIV llegará pronto):

 @software { ChatArena ,
  author = { Yuxiang Wu, Zhengyao Jiang, Akbir Khan, Yao Fu, Laura Ruis, Edward Grefenstette, and Tim Rocktäschel } ,
  title = { ChatArena: Multi-Agent Language Game Environments for Large Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.1 } ,
  howpublished = { url{https://github.com/chatarena/chatarena} } ,
}

Contacto

Si tiene alguna pregunta o sugerencia, no dude en abrir un problema o enviar una solicitud de extracción. También puede contactarnos en Farama Discord Server- https://discord.gg/vrtdmu9y8q

¡Feliz charla!

Patrocinadores

Nos gustaría agradecer a nuestros patrocinadores por apoyar este proyecto:

• SECOYA
• Capital de Shixiang