niryo_project

Roboterkontrolle unter Verwendung eines großen Sprachmodells

Die Struktur des Projekts ist das folgende Bild:

Das Projekt ist in zwei Teile unterteilt: der schwierige Teil und der weiche Teil. Der schwierige Teil ist der Teil der Roboterarmkontrolle, der für die Kontrolle des Roboterarms verantwortlich ist. Der weiche Teil ist das Sprachmodellteil, das für die Erzeugung der Anweisung verantwortlich ist.

Für das Sprachmodellteil verwenden wir das GPT-4-Modell von OpenAI. Das Modell wird verwendet, um die Anweisung für den Roboterarm zu erzeugen. Die Anweisung wird dann an den Roboterarmsteuerteil gesendet, der dann zur Kontrolle des Roboterarms verwendet wird.

Die vier Phasen des Sprachmodells sind wie folgt:

Die erste Stufe wird verwendet, um den Befehl in mehrere kleinere Teile zu teilen.

Die zweite Stufe wird verwendet, um den Namen in einem natürlichen Sprachanweis zu löschen. Wie im folgenden Beispiel bezieht sich auch die Anweisung "Queen" auf das Stück bei B6.

Die dritte Stufe wird verwendet, um die Position, die sich in einem natürlichen Sprachunterricht bezieht, zu beseitigen. Wie im folgenden Beispiel bezieht sich auch der Befehl "Right Square of B6" auf die Position bei B5.

Die letzte Phase hier ist die endgültige Überprüfung der Gesamtlogik und der Konsistenz der Anweisung.

Projektumgebung Setup

Dieses Dokument enthält Anweisungen zum Einrichten der Projektumgebung.

Voraussetzungen

• Python 3,8 oder höher
• Mujoco 210 (neueste Version)
• Kein Mujoco-Poy, nur mit Mujoco verwendet
• Mamba (optional, aber empfohlen)

Installation

1. Klonen Sie das Repository:

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. Erstellen Sie eine virtuelle Umgebung:

   mamba env create -f mamba_mujoco_base.yml

3. Aktivieren Sie die virtuelle Umgebung:

   conda activate mujoco

4. Installieren Sie die erforderlichen Pakete:

   pip install -r requirements.txt

Ausführen der Simulationsdemo

Führen Sie die Simulationsskripte für einzelne Anweisungen und mehrere Anweisungen aus:

python main_simulation.py
python main_simulation_multi.py

Diese beiden sind Beispielvideos der Simulation. Der erste ist ein einzelner Anweisungsart der Roboter-Simulation von Moving Task-Roboter, und die zweite ist eine komplexe Logik der Multi-Instruktions-Simulation.

Siehe die folgenden Videos:

Einzelinstruktion: In diesem Video ist der Befehl Eingabetaste "Verschieben Sie die Königin in C2". Der Roboter bewegen den kleinen grünen Ball (Königin bei B6) auf Quadrat C2.

Single_instruction.mp4

Mehrfachinstruktion: In diesem Video ist der Eingangsbefehl "Move teh Queen auf sein weiteres Quadrat und den Bauern auf sein diagonales Quadrat verschieben". Der Roboter bewegen die Königin (Ball bei B6) auf den Square C6 und den Bauern (Ball bei B3) zum Quadrat C2.

multi_inruction.mp4

Notizen für Sprachmodell

Dieses Experiment basiert auf dem GPT-4-Sprachmodell, daher ist der API-Schlüssel erforderlich. Bitte richten Sie Ihren eigenen Schlüssel in der Datei llmapi/api.py ein. (Sie können den Schlüssel von https://beta.openai.com/account/api-keys erhalten)

Derzeit wurde die API -Datei nicht hochgeladen .

Projektstruktur

Die Projektstruktur ist wie folgt: