niryo_project

使用大语言模型的机器人控制

该项目的结构如下图：

该项目分为两个部分：硬部分和软件。困难的部分是机器人臂控制部件，该部分负责机器人臂的控制。软件是语言模型部分，它负责产生指令。

对于语言模型部分，我们使用OpenAI的GPT-4模型。该模型用于生成机器人臂的指令。然后将指令发送到机器人臂控制部件，然后将其用于控制​​机器人臂的控制。

语言模型的四个阶段如下：

第一阶段用于将指令分为多个较小的部分。

第二阶段用于清除自然语言指令中引用的名称。如下示例，指令“ Queen”也指B6的作品。

第三阶段用于清除自然语言指令中引用的位置。如下示例中，指令“ B6的右方平方”也指B5位置。

这里的最后阶段是对整体逻辑的最终检查和指令的一致性。

项目环境设置

本文档提供了设置项目环境的说明。

先决条件

• Python 3.8或更高
• Mujoco 210（最新版本）
• 没有mujoco-py，仅使用穆乔科
• 曼巴（可选，但建议）

安装

1. 克隆存储库：

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. 创建虚拟环境：

   mamba env create -f mamba_mujoco_base.yml

3. 激活虚拟环境：

   conda activate mujoco

4. 安装所需的软件包：

   pip install -r requirements.txt

运行模拟演示

运行仿真脚本以进行单个说明和多个指令：

python main_simulation.py
python main_simulation_multi.py

这两个是模拟的示例视频。第一个是移动任务机器人仿真的单个指令类型，第二个是多实施模拟的复杂逻辑。

请参阅下面的视频：

单一指导：在此视频中，输入命令是“将女王移至C2”。机器人将将小绿球（B6女王）移至正方形C2。

single_instruction.mp4

多指导：在此视频中，输入命令是“将teh Queen移至其更远的正方形并将典当移至对角线广场”。机器人将将女王（B6的球）移至正方形C6，将典当（B3的球）移至正方形C2。

MULTI_INTRUCTION.MP4

语言模型笔记

该实验基于GPT-4语言模型，因此需要API键。请在llmapi/api.py文件中设置自己的密钥。 （您可以从https://beta.openai.com/account/api-keys获取钥匙）

目前，API文件尚未上传。

项目结构

项目结构如下：