niryo_project
1.0.0
La structure du projet est une image suivante:
Le projet est divisé en deux parties: la partie dure et la partie douce. La partie difficile est la partie de contrôle du bras du robot, qui est responsable du contrôle du bras robot. La partie douce est la partie du modèle de langue, qui est responsable de la génération de l'instruction.
Pour la partie du modèle de langue, nous utilisons le modèle GPT-4 d'OpenAI. Le modèle est utilisé pour générer l'instruction du bras robot. L'instruction est ensuite envoyée à la pièce de contrôle du bras du robot, qui est ensuite utilisée pour le contrôle du bras robot.
Les quatre étapes du modèle de langue sont les suivantes:
La première étape est utilisée pour diviser l'instruction en plusieurs parties plus petites.
La deuxième étape est utilisée pour effacer le nom se référant dans une instruction en langue naturelle. Comme dans l'exemple ci-dessous, l'instruction "Queen" fait également référence à la pièce à B6.
La troisième étape est utilisée pour effacer la position se référant dans une instruction en langue naturelle. Comme dans l'exemple ci-dessous, l'instruction "carré droit de B6" fait également référence à la position à B5.
La dernière étape ici est la vérification finale de la logique globale et la cohérence de l'instruction.
Ce document fournit des instructions pour la mise en place de l'environnement du projet.
Clone le référentiel:
git clone https://github.com/zniihgnexy/niryo_project.git
cd niryo_projectCréer un environnement virtuel:
mamba env create -f mamba_mujoco_base.ymlActivez l'environnement virtuel:
conda activate mujocoInstallez les packages requis:
pip install -r requirements.txtExécutez les scripts de simulation pour une seule instruction et plusieurs instructions:
python main_simulation.py
python main_simulation_multi.pyCes deux sont des exemples de vidéos de la simulation. Le premier est un type d'instruction unique de simulation de robot de tâche en mouvement, et le second est une logique complexe de simulation multi-instructions.
Voir les vidéos ci-dessous:
INSTRUCTION unique: Dans cette vidéo, la commande d'entrée est "Déplacer la reine vers C2". Le robot déplacera la petite boule verte (reine à B6) pour carré C2.
Multi-instruction: Dans cette vidéo, la commande d'entrée est "déplacer la reine vers son autre carré et déplacer le pion vers son carré diagonal". Le robot déplacera la reine (balle à B6) pour carré C6 et le pion (balle à B3) à carré C2.
Cette expérience est basée sur le modèle de langue GPT-4, donc la clé API est requise. Veuillez configurer votre propre clé dans le fichier llmapi / api.py. (Vous pouvez obtenir la clé de https://beta.openai.com/account/api- keys)
Pour l'instant, le fichier API n'a pas été téléchargé .
La structure du projet est la suivante:
