acme

Acme เป็นห้องสมุดของการสร้างการเรียนรู้การเสริมแรง (RL) บล็อกที่มุ่งมั่นที่จะเปิดเผยตัวแทนที่เรียบง่ายมีประสิทธิภาพและอ่านได้ ตัวแทนเหล่านี้เป็นอันดับแรกและสำคัญที่สุดให้บริการทั้งในการใช้งานอ้างอิงเช่นเดียวกับการจัดหาพื้นฐานที่แข็งแกร่งสำหรับประสิทธิภาพของอัลกอริทึม อย่างไรก็ตามตัวแทนพื้นฐานที่ ACME เปิดเผยควรให้ความยืดหยุ่นและความเรียบง่ายเพียงพอที่พวกเขาสามารถใช้เป็นบล็อกเริ่มต้นสำหรับการวิจัยใหม่ ในที่สุดการสร้างบล็อกของ ACME ได้รับการออกแบบในลักษณะที่ตัวแทนสามารถทำงานได้หลายระดับ (เช่นสายเดียวกับตัวแทนกระจาย)

เริ่มต้น

วิธีที่เร็วที่สุดในการเริ่มต้นคือการดูตัวอย่างรหัสการทำงานโดยละเอียดที่พบในไดเรกทอรีย่อยตัวอย่าง สิ่งเหล่านี้แสดงวิธีการสร้างอินสแตนซ์ตัวแทนที่แตกต่างกันจำนวนมากและเรียกใช้ภายในสภาพแวดล้อมที่หลากหลาย ดูสมุดบันทึก QuickStart สำหรับการดำน้ำที่รวดเร็วยิ่งขึ้นในการใช้เอเจนต์เดียว รายละเอียดเพิ่มเติมเกี่ยวกับการก่อสร้างภายในของตัวแทนสามารถพบได้ในสมุดบันทึกการสอนของเรา ในที่สุดคำอธิบายแบบเต็ม ACME และส่วนประกอบพื้นฐานสามารถพบได้โดยอ้างถึงเอกสารประกอบ ข้อมูลพื้นหลังเพิ่มเติมและรายละเอียดเบื้องหลังการตัดสินใจออกแบบสามารถพบได้ในรายงานทางเทคนิคของเรา

หมายเหตุ: ACME เป็นอันดับแรกและสำคัญที่สุดสำหรับการวิจัย RL ที่เขียนโดยนักวิจัยสำหรับนักวิจัย เราใช้มันสำหรับงานของเราเองทุกวัน ดังนั้นในใจในขณะที่เราจะพยายามทุกอย่างเพื่อให้ทุกอย่างอยู่ในสภาพที่ทำงานได้ดีสิ่งต่าง ๆ อาจแตกเป็นครั้งคราว แต่ถ้าเป็นเช่นนั้นเราจะพยายามอย่างเต็มที่ในการแก้ไขโดยเร็วที่สุด!

การติดตั้ง

เพื่อให้ลุกขึ้นและทำงานได้อย่างรวดเร็วเพียงทำตามขั้นตอนด้านล่าง:

1. ในขณะที่คุณสามารถติดตั้ง ACME ในสภาพแวดล้อม Python มาตรฐานของคุณเราขอแนะนำ อย่างยิ่ง ให้ใช้สภาพแวดล้อมเสมือนจริงของ Python เพื่อจัดการการพึ่งพาของคุณ สิ่งนี้จะช่วยหลีกเลี่ยงความขัดแย้งของเวอร์ชันและโดยทั่วไปจะทำให้กระบวนการติดตั้งง่ายขึ้น

   python3 -m venv acme
   source acme/bin/activate
   pip install --upgrade pip setuptools wheel

2. ในขณะที่ไลบรารี Core dm-acme สามารถติดตั้ง PIP ได้โดยตรงชุดของการพึ่งพาที่รวมอยู่สำหรับการติดตั้งนั้นน้อยที่สุด โดยเฉพาะอย่างยิ่งในการเรียกใช้ตัวแทนใด ๆ ที่รวมอยู่คุณจะต้องมีทั้ง Jax หรือ Tensorflow ขึ้นอยู่กับตัวแทน ดังนั้นเราขอแนะนำให้ติดตั้งส่วนประกอบเหล่านี้เช่นกันเช่น

   pip install dm-acme[jax,tf]

3. ในที่สุดเพื่อติดตั้งสภาพแวดล้อมตัวอย่างบางอย่าง (รวมถึง Gym, DM_Control และ Bsuite):

   pip install dm-acme[envs]

4. การติดตั้งจาก GitHub : หากคุณสนใจที่จะเรียกใช้ ACME รุ่นที่มีเลือดออกคุณสามารถทำได้โดยการโคลนที่เก็บ Acme GitHub จากนั้นดำเนินการคำสั่งต่อไปนี้จากไดเรกทอรีหลัก (ที่ setup.py อยู่):

   pip install .[jax,tf,testing,envs]

อ้างถึง Acme

หากคุณใช้ ACME ในงานของคุณโปรดอ้างอิงรายงานทางเทคนิคที่ได้รับการปรับปรุง:

 @article { hoffman2020acme ,
    title = { Acme: A Research Framework for Distributed Reinforcement Learning } ,
    author = {
        Matthew W. Hoffman and Bobak Shahriari and John Aslanides and
        Gabriel Barth-Maron and Nikola Momchev and Danila Sinopalnikov and
        Piotr Sta'nczyk and Sabela Ramos and Anton Raichuk and
        Damien Vincent and L'eonard Hussenot and Robert Dadashi and
        Gabriel Dulac-Arnold and Manu Orsini and Alexis Jacq and
        Johan Ferret and Nino Vieillard and Seyed Kamyar Seyed Ghasemipour and
        Sertan Girgin and Olivier Pietquin and Feryal Behbahani and
        Tamara Norman and Abbas Abdolmaleki and Albin Cassirer and
        Fan Yang and Kate Baumli and Sarah Henderson and Abe Friesen and
        Ruba Haroun and Alex Novikov and Sergio G'omez Colmenarejo and
        Serkan Cabi and Caglar Gulcehre and Tom Le Paine and
        Srivatsan Srinivasan and Andrew Cowie and Ziyu Wang and Bilal Piot and
        Nando de Freitas
    } ,
    year = { 2020 } ,
    journal = { arXiv preprint arXiv:2006.00979 } ,
    url = { https://arxiv.org/abs/2006.00979 } ,
}