niryo_project

Control de robots utilizando un modelo de lenguaje grande

La estructura del proyecto es la siguiente imagen:

El proyecto se divide en dos partes: la parte dura y la parte suave. La parte difícil es la parte de control del brazo del robot, que es responsable del control del brazo del robot. La parte suave es la parte del modelo de idioma, que es responsable de la generación de la instrucción.

Para la parte del modelo de idioma, utilizamos el modelo GPT-4 de OpenAI. El modelo se utiliza para generar la instrucción para el brazo del robot. Luego, la instrucción se envía a la parte de control del brazo del robot, que luego se usa para el control del brazo del robot.

Las cuatro etapas del modelo de idioma son las siguientes:

La primera etapa se usa para dividir la instrucción en múltiples partes más pequeñas.

La segunda etapa se utiliza para borrar el nombre que se refiere dentro de una instrucción del lenguaje natural. Como en el ejemplo a continuación, la instrucción "Queen" también se refiere a la pieza en B6.

La tercera etapa se utiliza para borrar la posición que se refiere dentro de una instrucción del lenguaje natural. Como en el ejemplo a continuación, la instrucción "cuadrado derecho de B6" también se refiere a la posición en B5.

La etapa final aquí es la comprobación final de la lógica general y la consistencia de la instrucción.

Configuración del entorno del proyecto

Este documento proporciona instrucciones para configurar el entorno del proyecto.

Requisitos previos

• Python 3.8 o superior
• Mujoco 210 (versión más nueva)
• No Mujoco-py, solo usando Mujoco
• mamba (opcional, pero recomendado)

Instalación

1. Clon el repositorio:

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. Crear un entorno virtual:

   mamba env create -f mamba_mujoco_base.yml

3. Active el entorno virtual:

   conda activate mujoco

4. Instale los paquetes requeridos:

   pip install -r requirements.txt

Ejecutando la demostración de simulación

Ejecute los scripts de simulación para instrucciones individuales y múltiples instrucciones:

python main_simulation.py
python main_simulation_multi.py

Estos dos son videos de ejemplo de la simulación. El primero es un solo tipo de instrucción de simulación de robot de tareas móviles, y el segundo es una lógica compleja de simulación de instrucciones múltiples.

Vea los videos a continuación:

Instrucción única: en este video, el comando de entrada es "mover la reina a C2". El robot moverá la pequeña bola verde (reina en B6) al cuadrado C2.

single_instruction.mp4

Multi-instrucción: en este video, el comando de entrada es "mover la reina a su cuadrado adicional y mover el peón a su cuadrado diagonal". El robot moverá a la reina (bola en B6) al cuadrado C6 y al peón (bola en B3) al cuadrado C2.

multi_intruction.mp4

Notas para el modelo de idioma

Este experimento se basa en el modelo de lenguaje GPT-4, por lo tanto, se requiere la clave API. Configure su propia clave en el archivo LLMAPI/API.PY. (Puede obtener la llave de https://beta.openai.com/account/api-keys)

Por ahora, el archivo API no se ha cargado .

Estructura de proyectos

La estructura del proyecto es la siguiente: