niryo_project

Controle de robô usando um modelo de linguagem grande

A estrutura do projeto é a figura seguinte:

O projeto é dividido em duas partes: a parte difícil e a parte suave. A parte difícil é a parte do controle do braço do robô, responsável pelo controle do braço do robô. A parte suave é a parte do modelo de idioma, responsável pela geração da instrução.

Para a parte do modelo de idioma, usamos o modelo GPT-4 do OpenAI. O modelo é usado para gerar a instrução para o braço do robô. A instrução é então enviada para a parte do controle do braço do robô, que é então usada para o controle do braço do robô.

Os quatro estágios do modelo de idioma são os seguintes:

O primeiro estágio é usado para dividir a instrução em várias partes menores.

O segundo estágio é usado para limpar o nome que se refere a uma instrução de linguagem natural. Como no exemplo abaixo, a instrução "Queen" também se refere à peça em B6.

O terceiro estágio é usado para limpar a posição que se refere a uma instrução de linguagem natural. Como no exemplo abaixo, a instrução "quadrado direito de B6" também se refere à posição em B5.

A fase final aqui é a verificação final da lógica geral e a consistência da instrução.

Configuração do ambiente do projeto

Este documento fornece instruções para configurar o ambiente do projeto.

Pré -requisitos

• Python 3.8 ou superior
• Mujoco 210 (versão mais recente)
• Sem Mujoco-Py, apenas usando Mujoco
• Mamba (opcional, mas recomendado)

Instalação

1. Clone o repositório:

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. Crie um ambiente virtual:

   mamba env create -f mamba_mujoco_base.yml

3. Ative o ambiente virtual:

   conda activate mujoco

4. Instale os pacotes necessários:

   pip install -r requirements.txt

Executando a demonstração da simulação

Execute os scripts de simulação para obter instruções únicas e múltiplas instruções:

python main_simulation.py
python main_simulation_multi.py

Esses dois são vídeos de exemplo da simulação. O primeiro é um único tipo de instrução de simulação de robô de tarefa em movimento, e a segunda é uma lógica complexa da simulação multi-instrução.

Veja os vídeos abaixo:

Instrução única: Neste vídeo, o comando de entrada é "Mova a rainha para C2". O robô moverá a pequena bola verde (rainha em B6) para o quadrado C2.

single_instruction.mp4

Multi-instrução: Neste vídeo, o comando de entrada é "Mova a rainha para o seu quadrado adicional e mova o peão para o seu quadrado diagonal". O robô moverá a rainha (bola em B6) para o quadrado C6 e o ​​peão (bola em B3) para o quadrado C2.

Multi_Intruction.mp4

Notas para Modelo de Língua

Este experimento é baseado no modelo de idioma GPT-4; portanto, a chave da API é necessária. Configure sua própria chave no arquivo llmapi/api.py. (Você pode obter a chave em https://beta.openai.com/account/api-keys)

Por enquanto, o arquivo API não foi enviado .

Estrutura do projeto

A estrutura do projeto é a seguinte: