niryo_project

Управление роботом с использованием модели большой языка

Структура проекта заключается в следующей картинке:

Проект разделен на две части: твердая часть и мягкая часть. Тяжелая часть - это часть управления роботом, которая отвечает за контроль рука робота. Мягкая часть - это языковая модель, которая отвечает за генерацию инструкции.

Для языковой модели мы используем модель GPT-4 от OpenAI. Модель используется для генерации инструкции для руки робота. Затем инструкция отправляется в контрольную часть рука робота, которая затем используется для управления руком робота.

Четыре этапа языковой модели следующие:

Первый этап используется для разделения инструкции на несколько небольших частей.

Второй этап используется для очистки имени, ссылающегося в инструкции естественного языка. Как и в примере ниже, инструкция «королева» также относится к произведению в B6.

Третий этап используется для очистки позиции, относящейся к инструкции естественного языка. Как и в примере ниже, инструкция «правый квадрат B6» также относится к позиции в B5.

Последний этап здесь - окончательная проверка общей логики и последовательность инструкции.

Настройка среды проекта

Этот документ предоставляет инструкции по настройке среды проекта.

Предварительные условия

• Python 3.8 или выше
• Mujoco 210 (новейшая версия)
• Нет Mujoco-Py, только используя Mujoco
• Мамба (необязательно, но рекомендуется)

Установка

1. Клонировать репозиторий:

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. Создайте виртуальную среду:

   mamba env create -f mamba_mujoco_base.yml

3. Активировать виртуальную среду:

   conda activate mujoco

4. Установите необходимые пакеты:

   pip install -r requirements.txt

Запуск демонстрации симуляции

Запустите сценарии симуляции для единой инструкции и нескольких инструкций:

python main_simulation.py
python main_simulation_multi.py

Эти два - примеры видео симуляции. Первый-это единственный тип моделирования робота для движущегося задачи, а второй-сложная логика моделирования с несколькими объектами.

Смотрите видео ниже:

Одиночная инстакционирование: в этом видео команда ввода-«Переместить королеву в C2». Робот перенесет маленький зеленый шар (Queen at B6) в квадратный C2.

Single_instruction.mp4

Multi-Instruction: В этом видео команда ввода является «Переместить королеву на дальнейший квадрат и переместить пешку на его диагональный квадрат». Робот перенесет королеву (мяч в B6) на квадратный C6 и пешку (мяч в B3) на квадратный C2.

multi_intruction.mp4

Примечания для языковой модели

Этот эксперимент основан на языковой модели GPT-4, поэтому требуется ключ API. Пожалуйста, настройте свой собственный ключ в файле llmapi/api.py. (Вы можете получить ключ от https://beta.openai.com/account/api-keys)

На данный момент файл API не был загружен .

Структура проекта

Структура проекта заключается в следующем: