acme

ACME adalah perpustakaan blok bangunan penguatan (RL) yang berusaha untuk mengekspos agen yang sederhana, efisien, dan dapat dibaca. Agen -agen ini pertama dan terutama berfungsi baik sebagai implementasi referensi serta menyediakan garis dasar yang kuat untuk kinerja algoritma. Namun, agen dasar yang diekspos oleh ACME juga harus memberikan fleksibilitas dan kesederhanaan yang cukup sehingga dapat digunakan sebagai blok awal untuk penelitian baru. Akhirnya, blok bangunan ACME dirancang sedemikian rupa sehingga agen dapat dijalankan pada beberapa skala (misalnya agen stream tunggal vs terdistribusi).

Memulai

Cara tercepat untuk memulai adalah dengan melihat contoh kode kerja terperinci yang ditemukan dalam subdirektori contoh. Ini menunjukkan cara instantiate sejumlah agen yang berbeda dan menjalankannya dalam berbagai lingkungan. Lihat Notebook QuickStart untuk menyelam lebih cepat untuk menggunakan agen tunggal. Bahkan lebih detail tentang konstruksi internal agen dapat ditemukan di dalam buku catatan tutorial kami. Akhirnya, deskripsi lengkap ACME dan komponen yang mendasarinya dapat ditemukan dengan merujuk pada dokumentasi. Lebih banyak informasi latar belakang dan detail di balik keputusan desain dapat ditemukan dalam laporan teknis kami.

Catatan: ACME adalah kerangka kerja pertama dan terpenting untuk penelitian RL yang ditulis oleh para peneliti, untuk para peneliti. Kami menggunakannya untuk pekerjaan kami sendiri setiap hari. Jadi dengan mengingat hal itu, sementara kita akan melakukan segala upaya untuk menjaga segala sesuatu dalam kondisi kerja yang baik, segala sesuatunya sesekali pecah. Tetapi jika demikian, kami akan melakukan upaya terbaik untuk memperbaikinya secepat mungkin!

Instalasi

Untuk bangun dan berjalan dengan cepat cukup ikuti langkah -langkah di bawah ini:

1. Meskipun Anda dapat menginstal ACME di lingkungan Python standar Anda, kami sangat menyarankan menggunakan lingkungan virtual Python untuk mengelola dependensi Anda. Ini akan membantu menghindari konflik versi dan umumnya membuat proses instalasi lebih mudah.

   python3 -m venv acme
   source acme/bin/activate
   pip install --upgrade pip setuptools wheel

2. Sementara perpustakaan inti dm-acme dapat dipasang secara langsung, set dependensi yang disertakan untuk pemasangan minimal. Secara khusus, untuk menjalankan salah satu agen yang disertakan, Anda juga akan membutuhkan JAX atau TensorFlow tergantung pada agen. Akibatnya, kami sarankan untuk menginstal komponen ini juga, yaitu

   pip install dm-acme[jax,tf]

3. Akhirnya, untuk memasang beberapa contoh lingkungan (termasuk gym, dm_control, dan bsuite):

   pip install dm-acme[envs]

4. Menginstal dari GitHub : Jika Anda tertarik untuk menjalankan versi ACME versi pendarahan, Anda dapat melakukannya dengan mengkloning repositori ACME Github dan kemudian mengeksekusi perintah berikut dari direktori utama (di mana setup.py berada):

   pip install .[jax,tf,testing,envs]

Mengutip acme

Jika Anda menggunakan ACME dalam pekerjaan Anda, silakan kutip laporan teknis yang disertai yang diperbarui:

 @article { hoffman2020acme ,
    title = { Acme: A Research Framework for Distributed Reinforcement Learning } ,
    author = {
        Matthew W. Hoffman and Bobak Shahriari and John Aslanides and
        Gabriel Barth-Maron and Nikola Momchev and Danila Sinopalnikov and
        Piotr Sta'nczyk and Sabela Ramos and Anton Raichuk and
        Damien Vincent and L'eonard Hussenot and Robert Dadashi and
        Gabriel Dulac-Arnold and Manu Orsini and Alexis Jacq and
        Johan Ferret and Nino Vieillard and Seyed Kamyar Seyed Ghasemipour and
        Sertan Girgin and Olivier Pietquin and Feryal Behbahani and
        Tamara Norman and Abbas Abdolmaleki and Albin Cassirer and
        Fan Yang and Kate Baumli and Sarah Henderson and Abe Friesen and
        Ruba Haroun and Alex Novikov and Sergio G'omez Colmenarejo and
        Serkan Cabi and Caglar Gulcehre and Tom Le Paine and
        Srivatsan Srinivasan and Andrew Cowie and Ziyu Wang and Bilal Piot and
        Nando de Freitas
    } ,
    year = { 2020 } ,
    journal = { arXiv preprint arXiv:2006.00979 } ,
    url = { https://arxiv.org/abs/2006.00979 } ,
}