niryo_project

Kontrol Robot Menggunakan Model Bahasa Besar

Struktur proyek adalah sebagai gambar berikut:

Proyek ini dibagi menjadi dua bagian: bagian yang keras dan bagian lunak. Bagian yang sulit adalah bagian kontrol lengan robot, yang bertanggung jawab atas kontrol lengan robot. Bagian lunak adalah bagian model bahasa, yang bertanggung jawab atas pembuatan instruksi.

Untuk bagian model bahasa, kami menggunakan model GPT-4 dari Openai. Model ini digunakan untuk menghasilkan instruksi untuk lengan robot. Instruksi kemudian dikirim ke bagian kontrol lengan robot, yang kemudian digunakan untuk kontrol lengan robot.

Empat tahap model bahasa adalah sebagai berikut:

Tahap pertama digunakan untuk membagi instruksi menjadi beberapa bagian yang lebih kecil.

Tahap kedua digunakan untuk menghapus nama yang merujuk di dalam instruksi bahasa alami. Seperti pada contoh di bawah ini, instruksi "ratu" juga mengacu pada bagian di B6.

Tahap ketiga digunakan untuk membersihkan posisi yang merujuk di dalam instruksi bahasa alami. Seperti pada contoh di bawah ini, instruksi "kuadrat kanan B6" juga mengacu pada posisi di B5.

Tahap terakhir di sini adalah pemeriksaan akhir dari logika keseluruhan dan konsistensi instruksi.

Pengaturan Lingkungan Proyek

Dokumen ini memberikan instruksi untuk menyiapkan lingkungan proyek.

Prasyarat

• Python 3.8 atau lebih tinggi
• Mujoco 210 (versi terbaru)
• tidak ada mujoco-py, hanya menggunakan mujoco
• mamba (opsional, tetapi direkomendasikan)

Instalasi

1. Klon Repositori:

   git clone https://github.com/zniihgnexy/niryo_project.git
   cd niryo_project

2. Buat lingkungan virtual:

   mamba env create -f mamba_mujoco_base.yml

3. Aktifkan lingkungan virtual:

   conda activate mujoco

4. Pasang paket yang diperlukan:

   pip install -r requirements.txt

Menjalankan demo simulasi

Jalankan skrip simulasi untuk instruksi tunggal dan beberapa instruksi:

python main_simulation.py
python main_simulation_multi.py

Keduanya adalah contoh video simulasi. Yang pertama adalah jenis instruksi tunggal dari simulasi robot tugas bergerak, dan yang kedua adalah logika kompleks simulasi multi-instruksi.

Lihat video di bawah ini:

Instruksi tunggal: Dalam video ini, perintah input adalah "pindahkan ratu ke c2". Robot akan memindahkan bola hijau kecil (ratu di B6) ke persegi C2.

single_instruction.mp4

Multi-instruksi: Dalam video ini, perintah input adalah "Pindahkan ratu ke alun-alun lebih lanjut dan pindahkan pion ke kotak diagonal". Robot akan memindahkan ratu (bola di B6) ke persegi C6 dan pion (bola di B3) ke persegi C2.

multi_intruction.mp4

Catatan untuk Model Bahasa

Eksperimen ini didasarkan pada model bahasa GPT-4, oleh karena itu kunci API diperlukan. Harap atur kunci Anda sendiri di file llmapi/api.py. (Anda bisa mendapatkan kunci dari https://beta.openai.com/account/api-keys)

Untuk saat ini file API belum diunggah .

Struktur proyek

Struktur proyek adalah sebagai berikut: