babyai

Pembaruan 2023

Semua lingkungan Babyai sekarang menjadi bagian dari perpustakaan minigrid. Repositori ini tidak dipertahankan secara aktif.

Melatih agen RL pada lingkungan minigrid (dan babyai) dapat dilakukan dengan menggunakan repositori ini.

Repositori ini masih berisi skrip yang, jika diadaptasi dengan perpustakaan minigrid, dapat digunakan untuk:

• Menghasilkan demonstrasi menggunakan bot babyai,
• Latih agen pembelajaran imitasi menggunakan demonstrasi yang dihasilkan bot sebagai lintasan pelatihan.

Babyai 1.1

Babyai adalah platform yang digunakan untuk mempelajari efisiensi sampel akuisisi bahasa ground, dibuat di MILA.

Cabang utama dari repositori ini sering diperbarui. Jika Anda ingin mereplikasi atau membandingkan dengan hasil dasar, kami sarankan Anda menggunakan cabang Babyai 1.1 dan mengutip keduanya:

 @misc{hui2020babyai,
    title={BabyAI 1.1},
    author={David Yu-Tung Hui and Maxime Chevalier-Boisvert and Dzmitry Bahdanau and Yoshua Bengio},
    year={2020},
    eprint={2007.12770},
    archivePrefix={arXiv},
    primaryClass={cs.AI}
}

dan kertas ICLR19, yang merinci pengaturan eksperimental dan hasil dasar Babyai 1.0. Kode sumbernya ada di cabang ICLR19:

 @inproceedings{
  babyai_iclr19,
  title={Baby{AI}: First Steps Towards Grounded Language Learning With a Human In the Loop},
  author={Maxime Chevalier-Boisvert and Dzmitry Bahdanau and Salem Lahlou and Lucas Willems and Chitwan Saharia and Thien Huu Nguyen and Yoshua Bengio},
  booktitle={International Conference on Learning Representations},
  year={2019},
  url={https://openreview.net/forum?id=rJeXCo0cYX},
}

README ini mencakup instruksi untuk pemasangan dan pemecahan masalah. Instruksi lainnya adalah:

• Instruksi tentang cara berkontribusi
• Struktur basis kode
• Pelatihan, evaluasi dan mereproduksi hasil dasar
• Level Babyai 1.0+ dan level yang lebih tua.

Instalasi

Conda (direkomendasikan)

Jika Anda menggunakan Conda, Anda dapat membuat lingkungan babyai dengan semua dependensi dengan menjalankan:

 git clone https://github.com/mila-iqia/babyai.git
cd babyai
conda env create -f environment.yaml
source activate babyai

Setelah itu, jalankan perintah berikut untuk mengatur lingkungan.

 cd ..
git clone https://github.com/maximecb/gym-minigrid.git
cd gym-minigrid
pip install --editable .

Perintah terakhir menginstal repositori dalam mode yang dapat diedit. Kembalilah ke repositori babyai dan instal dalam mode yang dapat diedit juga.

 cd ../babyai
pip install --editable .

Akhirnya, ikuti instruksi ini

Instalasi Manual

Persyaratan:

• Python 3.6+
• Gym openai
• Numpy
• Pytorch 0.4.1+
• Blosc

Pertama instal Pytorch untuk di platform Anda.

Kemudian, klon repositori ini dan instal dependensi lainnya dengan pip3 :

 git clone https://github.com/mila-iqia/babyai.git
cd babyai
pip3 install --editable .

Akhirnya, ikuti instruksi ini

Jalur penyimpanan babyai

Tambahkan baris ini ke .bashrc (linux), atau .bash_profile (mac).

 export BABYAI_STORAGE='/<PATH>/<TO>/<BABYAI>/<REPOSITORY>/<PARENT>'

di mana /<PATH>/<TO>/<BABYAI>/<REPOSITORY>/<PARENT> adalah folder tempat Anda mengetik git clone https://github.com/mila-iqia/babyai.git sebelumnya.

Model, log, dan demo akan diproduksi di direktori ini, dalam models folder, logs dan demos masing -masing.

Mengunduh demo

Ini bisa diunduh di sini

Pastikan file yang diunduh memiliki checksum MD5 berikut (diperoleh melalui md5sum ): 1df202ef2bbf2de768633059ed8db64c

sebelum ekstraksi:

 gunzip -c copydemos.tar.gz | tar xvf -

Menggunakan arsitektur pixels tidak bekerja dengan pembelajaran imitasi , karena demonstrasi tidak dihasilkan untuk menggunakan piksel.

Pemecahan masalah

Jika Anda mengalami pesan kesalahan yang berkaitan dengan Openai Gym, mungkin versi perpustakaan yang telah Anda instal tidak kompatibel. Anda dapat mencoba meningkatkan perpustakaan tertentu dengan PIP3, misalnya: pip3 install --upgrade gym . Jika masalah berlanjut, silakan buka masalah di repositori ini dan tempel pesan kesalahan lengkap , bersama dengan beberapa informasi tentang platform Anda (apakah Anda menjalankan Windows, Mac, Linux? Apakah Anda menjalankan ini di mesin Mila?).

Pengamatan piksel

Harap dicatat bahwa format pengamatan default adalah tampilan lingkungan yang dapat diamati sebagian menggunakan pengkodean kompak, dengan 3 nilai input per sel grid yang terlihat, total nilai 7x7x3. Nilai -nilai ini bukan piksel . Jika Anda ingin mendapatkan array piksel RGB sebagai pengamatan sebagai gantinya, gunakan RGBImgPartialObsWrapper . Anda dapat menggunakannya sebagai berikut:

 import babyai
from gym_minigrid.wrappers import *
env = gym.make('BabyAI-GoToRedBall-v0')
env = RGBImgPartialObsWrapper(env)

Pembungkus ini, serta pembungkus lain untuk mengubah format pengamatan dapat ditemukan di sini.