language planner

Modelos de idiomas como planificadores de cero disparos:
Extracción del conocimiento procesable para agentes encarnados

[Página del proyecto] [Paper] [Video]

Wenlong Huang ¹ , Pieter Abbeel ¹ , Deepak Pathak* ² , Igor Mordatch* ³ (* Asesoramiento igual)

¹ Universidad de California, Berkeley, ² Carnegie Mellon University, ³ Google Brain

Este es el código de demostración oficial para nuestros modelos de idiomas como documento de planificadores de cero disparos. El código demuestra cómo los modelos de idiomas grandes, como GPT-3 y Codex, pueden generar planes de acción para actividades humanas complejas (por ejemplo, "preparar el desayuno"), incluso sin ninguna capacitación adicional. El código se puede utilizar con cualquier modelo de idioma disponible de la API de OpenAI y los transformadores de Huggingface con una interfaz común.

Si encuentra este trabajo útil en su investigación, cite usando el siguiente bibtex:

 @article { huang2022language ,
      title = { Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents } ,
      author = { Huang, Wenlong and Abbeel, Pieter and Pathak, Deepak and Mordatch, Igor } ,
      journal = { arXiv preprint arXiv:2201.07207 } ,
      year = { 2022 }
    }

Configuración local o abierto en Colab

Requisitos

• Python = 3.6.13
• CUDA = 11.3

Instrucciones de configuración

git clone https://github.com/huangwl18/language-planner.git
cd language-planner/
conda create --name language-planner-env python=3.6.13
conda activate language-planner-env
pip install --upgrade pip
pip install -r requirements.txt

Código de ejecución

Consulte demo.ipynb (OR) para un recorrido completo de nuestro método. ¡Siéntase libre de experimentar con cualquier tarea doméstica que se le ocurra (o cualquier tarea más allá del dominio del hogar si proporciona las acciones necesarias en available_actions.json )!

Nota:

• Se observa que los mejores resultados se pueden obtener con modelos de lenguaje más grandes. Si no puede ejecutar los modelos de Transformers Huggingface localmente o en Google Colab debido a la restricción de memoria, se recomienda registrar una cuenta de API de OpenAI y usar GPT-3 o Codex (a partir del 01/2022, los créditos gratuitos de $ 18 se otorgan a nuevas cuentas y series de Codex son gratuitos después de admitir de la lista de espera).
• Debido a la alta sensibilidad de los modelos de lenguaje a los hiperparámetros de muestreo, es posible que deba ajustar los hiperparámetros de muestreo para diferentes modelos para obtener los mejores resultados.
• El código utiliza la lista de acciones disponibles compatibles con el simulador de gráficos en evolución de VirtualHome 1.0. Las acciones disponibles se almacenan en available_actions.json . Las acciones deben respaldar una gran variedad de tareas domésticas. Sin embargo, puede modificar o reemplazar este archivo si está interesado en un conjunto diferente de acciones o un dominio diferente de tareas (más allá del dominio del hogar).
• Un subconjunto de los ejemplos anotados manualmente recopilados originalmente por el documento VirtualHome se utiliza como ejemplos disponibles en el aviso. Se transforman en formato de lenguaje natural y se almacenan en available_examples.json . Siéntase libre de cambiar este archivo para un conjunto diferente de ejemplos disponibles.