niryo_project

使用大語言模型的機器人控制

該項目的結構如下圖：

該項目分為兩個部分：硬部分和軟件。困難的部分是機器人臂控制部件，該部分負責機器人臂的控制。軟件是語言模型部分，它負責產生指令。

對於語言模型部分，我們使用OpenAI的GPT-4模型。該模型用於生成機器人臂的指令。然後將指令發送到機器人臂控制部件，然後將其用於控制​​機器人臂的控制。

語言模型的四個階段如下：

第一階段用於將指令分為多個較小的部分。

第二階段用於清除自然語言指令中引用的名稱。如下示例，指令“ Queen”也指B6的作品。

第三階段用於清除自然語言指令中引用的位置。如下示例中，指令“ B6的右方平方”也指B5位置。

這裡的最後階段是對整體邏輯的最終檢查和指令的一致性。

項目環境設置

本文檔提供了設置項目環境的說明。

先決條件

• Python 3.8或更高
• Mujoco 210（最新版本）
• 沒有mujoco-py，僅使用穆喬科
• 曼巴（可選，但建議）

安裝

1. 克隆存儲庫：

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. 創建虛擬環境：

   mamba env create -f mamba_mujoco_base.yml

3. 激活虛擬環境：

   conda activate mujoco

4. 安裝所需的軟件包：

   pip install -r requirements.txt

運行模擬演示

運行仿真腳本以進行單個說明和多個指令：

python main_simulation.py
python main_simulation_multi.py

這兩個是模擬的示例視頻。第一個是移動任務機器人仿真的單個指令類型，第二個是多實施模擬的複雜邏輯。

請參閱下面的視頻：

單一指導：在此視頻中，輸入命令是“將女王移至C2”。機器人將將小綠球（B6女王）移至正方形C2。

single_instruction.mp4

多指導：在此視頻中，輸入命令是“將teh Queen移至其更遠的正方形並將典當移至對角線廣場”。機器人將將女王（B6的球）移至正方形C6，將典當（B3的球）移至正方形C2。

MULTI_INTRUCTION.MP4

語言模型筆記

該實驗基於GPT-4語言模型，因此需要API鍵。請在llmapi/api.py文件中設置自己的密鑰。 （您可以從https://beta.openai.com/account/api-keys獲取鑰匙）

目前，API文件尚未上傳。

項目結構

項目結構如下：