acme

Acme是增強學習（RL）的構件庫，旨在暴露簡單，高效且可讀的代理。這些代理首先是參考實現，也可以為算法性能提供強大的基準。但是，ACME暴露的基線代理還應提供足夠的靈活性和簡單性，可以將它們用作新研究的起點。最後，ACME的構建塊的設計方式使代理可以以多個尺度運行（例如，單流與分佈式代理）。

入門

最快開始的方法是查看示例子目錄中的詳細工作代碼示例。這些顯示瞭如何實例化許多不同的代理並在各種環境中運行它們。請參閱Quickstart Notebook，以便更快地潛入使用單個代理。在我們的教程筆記本中可以找到有關代理內部構造的更多詳細信息。最後，可以通過參考文檔來找到ACME及其基礎組件的完整描述。設計決策背後的更多背景信息和詳細信息可以在我們的技術報告中找到。

注意：ACME是研究人員為研究人員編寫的RL研究框架的首先。我們每天將其用於自己的工作。因此，考慮到這一點，儘管我們將盡一切努力使一切保持良好的工作狀態，但情況可能會偶爾破裂。但是，如果是這樣，我們將盡最大努力盡快解決它們！

安裝

要快速啟動並運行，只需按照以下步驟操作：

1. 雖然您可以在標準Python環境中安裝ACME，但我們強烈建議使用Python虛擬環境來管理您的依賴性。這應該有助於避免版本衝突，並且通常會使安裝過程更容易。

   python3 -m venv acme
   source acme/bin/activate
   pip install --upgrade pip setuptools wheel

2. 雖然可以直接安裝核心dm-acme庫，但安裝所包含的依賴項集很小。特別是，要運行任何隨附的代理，您也需要根據代理而需要JAX或TensorFlow。結果，我們建議也安裝這些組件，即

   pip install dm-acme[jax,tf]

3. 最後，要安裝一些示例環境（包括健身房，DM_Control和Bsuite）：

   pip install dm-acme[envs]

4. 從GitHub安裝：如果您有興趣運行ACME出血版本，則可以通過克隆ACME GitHub存儲庫來執行此操作，然後從MAIN DERICTORY（ setup.py位置）執行以下命令：

   pip install .[jax,tf,testing,envs]

引用Acme

如果您在工作中使用ACME，請引用隨附的更新技術報告：

 @article { hoffman2020acme ,
    title = { Acme: A Research Framework for Distributed Reinforcement Learning } ,
    author = {
        Matthew W. Hoffman and Bobak Shahriari and John Aslanides and
        Gabriel Barth-Maron and Nikola Momchev and Danila Sinopalnikov and
        Piotr Sta'nczyk and Sabela Ramos and Anton Raichuk and
        Damien Vincent and L'eonard Hussenot and Robert Dadashi and
        Gabriel Dulac-Arnold and Manu Orsini and Alexis Jacq and
        Johan Ferret and Nino Vieillard and Seyed Kamyar Seyed Ghasemipour and
        Sertan Girgin and Olivier Pietquin and Feryal Behbahani and
        Tamara Norman and Abbas Abdolmaleki and Albin Cassirer and
        Fan Yang and Kate Baumli and Sarah Henderson and Abe Friesen and
        Ruba Haroun and Alex Novikov and Sergio G'omez Colmenarejo and
        Serkan Cabi and Caglar Gulcehre and Tom Le Paine and
        Srivatsan Srinivasan and Andrew Cowie and Ziyu Wang and Bilal Piot and
        Nando de Freitas
    } ,
    year = { 2020 } ,
    journal = { arXiv preprint arXiv:2006.00979 } ,
    url = { https://arxiv.org/abs/2006.00979 } ,
}