acme

ACME - это строительные блоки ACME библиотеки подкрепления (RL), которая стремится выставлять простые, эффективные и читаемые агенты. Эти агенты в первую очередь служат как справочными реализациями, так и обеспечивают сильные базовые показатели для производительности алгоритма. Тем не менее, базовые агенты, выявленные ACME, также должны обеспечить достаточную гибкость и простоту, чтобы их можно было использовать в качестве стартового блока для новых исследований. Наконец, строительные блоки ACME разработаны таким образом, что агенты могут работать в нескольких масштабах (например, односторонние и распределенные агенты).

Начиная

Самый быстрый способ начать это - посмотреть на подробные примеры рабочего кода, найденные в подкатальных примерах. Они показывают, как создать экземпляр ряда различных агентов и запустить их в различных условиях. Смотрите ноутбук QuickStart для еще более быстрого погружения в использование одного агента. Еще более подробно о внутренней конструкции агента можно найти в нашем учебном ноутбуке. Наконец, полное описание ACME и его базовых компонентов можно найти, ссылаясь на документацию. Больше справочной информации и деталей, лежащих в основе проектных решений, можно найти в нашем техническом отчете.

Примечание. ACME является первым и главным образом основой для исследователей, написанных исследователями, для исследователей. Мы используем его для своей собственной работы ежедневно. Итак, имея это в виду, в то время как мы предпримем все попытки сохранить все в хорошем рабочем состоянии, все может иногда ломаться. Но если это так, мы сделаем все возможное, чтобы исправить их как можно быстрее!

Установка

Чтобы быстро встать и работать, просто следуйте шагам ниже:

1. В то время как вы можете установить ACME в своей стандартной среде Python, мы настоятельно рекомендуем использовать виртуальную среду Python для управления вашими зависимостями. Это должно помочь избежать конфликтов версий и просто облегчить процесс установки.

   python3 -m venv acme
   source acme/bin/activate
   pip install --upgrade pip setuptools wheel

2. В то время как основная библиотека dm-acme может быть установлена ​​напрямую, набор зависимостей, включенных для установки, минимален. В частности, для запуска любого из включенных агентов вам также понадобится JAX или TensorFlow в зависимости от агента. В результате мы также рекомендуем установить эти компоненты, т.е.

   pip install dm-acme[jax,tf]

3. Наконец, чтобы установить несколько примеров среды (включая тренажерный зал, DM_CONTROL и BSUITE):

   pip install dm-acme[envs]

4. Установка из GitHub : если вы заинтересованы в запуска версии ACME с кратой, вы можете сделать это, клонируя репозиторий acme GitHub, а затем выполняя следующую команду из основного каталога (где находится setup.py ):

   pip install .[jax,tf,testing,envs]

Цитируя acme

Если вы используете ACME в своей работе, пожалуйста, укажите обновленный технический отчет:

 @article { hoffman2020acme ,
    title = { Acme: A Research Framework for Distributed Reinforcement Learning } ,
    author = {
        Matthew W. Hoffman and Bobak Shahriari and John Aslanides and
        Gabriel Barth-Maron and Nikola Momchev and Danila Sinopalnikov and
        Piotr Sta'nczyk and Sabela Ramos and Anton Raichuk and
        Damien Vincent and L'eonard Hussenot and Robert Dadashi and
        Gabriel Dulac-Arnold and Manu Orsini and Alexis Jacq and
        Johan Ferret and Nino Vieillard and Seyed Kamyar Seyed Ghasemipour and
        Sertan Girgin and Olivier Pietquin and Feryal Behbahani and
        Tamara Norman and Abbas Abdolmaleki and Albin Cassirer and
        Fan Yang and Kate Baumli and Sarah Henderson and Abe Friesen and
        Ruba Haroun and Alex Novikov and Sergio G'omez Colmenarejo and
        Serkan Cabi and Caglar Gulcehre and Tom Le Paine and
        Srivatsan Srinivasan and Andrew Cowie and Ziyu Wang and Bilal Piot and
        Nando de Freitas
    } ,
    year = { 2020 } ,
    journal = { arXiv preprint arXiv:2006.00979 } ,
    url = { https://arxiv.org/abs/2006.00979 } ,
}