niryo_project

큰 언어 모델을 사용한 로봇 제어

프로젝트의 구조는 다음과 같습니다.

이 프로젝트는 두 부분으로 나뉩니다. 단단한 부분과 부드러운 부분. 어려운 부분은 로봇 암 제어 부품으로 로봇 암의 제어를 담당합니다. 부드러운 부분은 언어 모델 부분이며, 이는 명령의 생성을 담당합니다.

언어 모델 부분의 경우 OpenAI의 GPT-4 모델을 사용합니다. 이 모델은 로봇 암에 대한 명령어를 생성하는 데 사용됩니다. 그런 다음 명령어는 로봇 암 제어 부품으로 전송 된 다음 로봇 암의 제어에 사용됩니다.

언어 모델의 네 단계는 다음과 같습니다.

첫 번째 단계는 명령어를 여러 개의 작은 부분으로 분할하는 데 사용됩니다.

두 번째 단계는 자연어 지시 내에서 언급 된 이름을 지우는 데 사용됩니다. 아래의 예에서와 같이, "Queen"은 B6의 조각을 나타냅니다.

세 번째 단계는 자연어 지시 내부를 참조하는 위치를 지우는 데 사용됩니다. 아래의 예에서와 같이, "B6의 오른쪽 정사각형"은 B5의 위치를 ​​나타냅니다.

마지막 단계는 전반적인 논리의 최종 점검과 명령의 일관성입니다.

프로젝트 환경 설정

이 문서는 프로젝트 환경 설정을위한 지침을 제공합니다.

전제 조건

• 파이썬 3.8 이상
• Mujoco 210 (최신 버전)
• Mujoco-Py는 없으며 Mujoco 만 사용합니다
• 맘바 (선택 사항이지만 권장)

설치

1. 저장소 복제 :

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. 가상 환경 생성 :

   mamba env create -f mamba_mujoco_base.yml

3. 가상 환경 활성화 :

   conda activate mujoco

4. 필요한 패키지 설치 :

   pip install -r requirements.txt

시뮬레이션 데모 실행

단일 명령 및 여러 지침을 위해 시뮬레이션 스크립트를 실행하십시오.

python main_simulation.py
python main_simulation_multi.py

이 두 가지는 시뮬레이션의 예제 비디오입니다. 첫 번째는 단일 명령 유형의 이동 작업 로봇 시뮬레이션이며 두 번째는 다중 검사 시뮬레이션의 복잡한 논리입니다.

아래 비디오를 참조하십시오.

단일 검사 : 이 비디오에서 입력 명령은 "여왕을 C2로 이동"합니다. 로봇은 작은 녹색 공 (B6의 퀸)을 Square C2로 옮길 것입니다.

Single_instruction.mp4

다중 정보 : 이 비디오에서 입력 명령은 "여왕을 추가 정사각형으로 이동하여 전당포를 대각선 사각형으로 옮깁니다"입니다. 로봇은 퀸 (B6의 볼)을 사각형 C6으로, 전당포 (B3의 공)를 사각형 C2로 옮길 것입니다.

multi_intruction.mp4

언어 모델에 대한 메모

이 실험은 GPT-4 언어 모델을 기반으로하므로 API 키가 필요합니다. llmapi/api.py 파일에서 자신의 키를 설정하십시오. (https://beta.openai.com/account/api-keys에서 키를 얻을 수 있습니다)

현재 API 파일이 업로드되지 않았습니다 .

프로젝트 구조

프로젝트 구조는 다음과 같습니다.