niryo_project

التحكم في الروبوت باستخدام نموذج لغة كبير

هيكل المشروع كما يتبع الصورة:

ينقسم المشروع إلى جزأين: الجزء الصعب والجزء الناعم. الجزء الصعب هو جزء التحكم في ذراع الروبوت ، وهو المسؤول عن التحكم في ذراع الروبوت. الجزء الناعم هو جزء نموذج اللغة ، وهو المسؤول عن توليد التعليمات.

بالنسبة لجزء نموذج اللغة ، نستخدم نموذج GPT-4 من Openai. يستخدم النموذج لإنشاء تعليمات ذراع الروبوت. ثم يتم إرسال التعليمات إلى جزء التحكم في ذراع الروبوت ، والذي يتم استخدامه بعد ذلك للتحكم في ذراع الروبوت.

المراحل الأربع لنموذج اللغة هي كما يلي:

يتم استخدام المرحلة الأولى لتقسيم التعليمات إلى أجزاء أصغر متعددة.

يتم استخدام المرحلة الثانية لمسح الاسم الذي يشير داخل تعليمات اللغة الطبيعية. كما في المثال أدناه ، تشير تعليمات "Queen" أيضًا إلى القطعة الموجودة في B6.

يتم استخدام المرحلة الثالثة لمسح الموقف الذي يشير داخل تعليمات اللغة الطبيعية. كما في المثال أدناه ، تشير تعليمات "المربع الأيمن لـ B6" أيضًا إلى الموضع في B5.

المرحلة النهائية هنا هي الفحص النهائي للمنطق العام واتساق التعليمات.

إعداد بيئة المشروع

يوفر هذا المستند تعليمات لإعداد بيئة المشروع.

المتطلبات الأساسية

• بيثون 3.8 أو أعلى
• Mujoco 210 (أحدث إصدار)
• لا mujoco-py ، فقط باستخدام mujoco
• مامبا (اختياري ، ولكن موصى بها)

تثبيت

1. استنساخ المستودع:

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. إنشاء بيئة افتراضية:

   mamba env create -f mamba_mujoco_base.yml

3. تنشيط البيئة الافتراضية:

   conda activate mujoco

4. تثبيت الحزم المطلوبة:

   pip install -r requirements.txt

تشغيل العرض التوضيحي للمحاكاة

قم بتشغيل نصوص المحاكاة للحصول على تعليمات واحدة وتعليمات متعددة:

python main_simulation.py
python main_simulation_multi.py

هذان مثالان مقاطع فيديو للمحاكاة. الأول هو نوع تعليمي واحد لمحاكاة Robot Task Task ، والثاني هو منطق معقد لمحاكاة Multi-instructions.

انظر مقاطع الفيديو أدناه:

أحادي الإثارة: في هذا الفيديو ، يكون أمر الإدخال هو "نقل الملكة إلى C2". سوف ينقل الروبوت الكرة الخضراء الصغيرة (ملكة في B6) إلى مربع C2.

single_instruction.mp4

متعددة الأبعاد: في هذا الفيديو ، يكون أمر الإدخال هو "نقل ملكة إلى مربعها الآخر ونقل البيدق إلى مربعها القطري". سوف ينقل الروبوت الملكة (الكرة في B6) إلى مربع C6 و Pawn (الكرة في B3) إلى مربع C2.

multi_intruction.mp4

ملاحظات لنموذج اللغة

تعتمد هذه التجربة على نموذج لغة GPT-4 ، وبالتالي فإن مفتاح API مطلوب. يرجى إعداد المفتاح الخاص بك في ملف LLMAPI/API.py. (يمكنك الحصول على المفتاح من https://beta.openai.com/account/api- keys)

في الوقت الحالي ، لم يتم تحميل ملف API.

هيكل المشروع

هيكل المشروع كما يلي: