stable baselines3 contrib

BASELINES ESTABLES3-Contrib (SB3-Contrib)

Paquete Contrib para el código de aprendizaje de refuerzo experimental (RL). "SB3-Contrib" para abreviar.

¿Qué es SB3-Contrib?

Un lugar para algoritmos y herramientas RL que se consideran experimentales, por ejemplo, implementaciones de las últimas publicaciones. El objetivo es mantener la simplicidad, la documentación y el estilo de las tareas estables3 pero para implementaciones menos maduradas.

¿Por qué crear este repositorio?

En el lapso de las baselas estables y las baselines estables3, la comunidad ha estado ansiosa por contribuir en forma de mejores utilidades de registro, envoltorios ambientales, soporte extendido (por ejemplo, diferentes espacios de acción) y algoritmos de aprendizaje.

Sin embargo, a veces estas utilidades eran demasiado nicho para ser considerados para baselas estables o demostraban ser demasiado difíciles de integrar bien en el código existente sin crear un desastre. SB3-Contrib tiene como objetivo solucionar esto al no requerir la integración de código más ordenada con el código existente y no establecer límites en lo que es demasiado nicho: ¡casi todo lo que es remotamente útil es lo que va! Esperamos que esto nos permita proporcionar implementaciones confiables después de los estándares habituales de las líneas estables (estilo consistente, documentación, etc.) más allá del alcance relativamente pequeño de los servicios públicos en el repositorio principal.

Características

Vea la documentación para la lista completa de características incluidas.

Algoritmos RL :

• Búsqueda aleatoria aumentada (ARS)
• Regresión cuantil dqn (qr-dqn)
• PPO con enmascaramiento de acción no válido (MaskablePpo)
• PPO con política recurrente (recurrentppo, también conocido como PPO LSTM)
• Críticos de cuantil truncados (TQC)
• Optimización de política de la región de confianza (TRPO)
• Normalización por lotes en el aprendizaje de refuerzo profundo (Crossq)

Envoltorios de gimnasio :

• Envoltura de funciones de tiempo

Documentación

La documentación está disponible en línea: https://sb3-contrib.readthedocs.io/

Instalación

Para instalar las líneas de base 3 contribuye con PIP, ejecute:

 pip install sb3-contrib

Recomendamos usar la versión master de líneas de base estables3.

Para instalar la versión master de las líneas de base 3:

 pip install git+https://github.com/DLR-RM/stable-baselines3

Para instalar BasO BASELS3 VERSIÓN master CONTIB:

 pip install git+https://github.com/Stable-Baselines-Team/stable-baselines3-contrib

Cómo contribuir

Si desea contribuir, lea primero la guía de contribuyentes .

Citando el proyecto

Para citar este repositorio en publicaciones (cite SB3 directamente):

 @article { stable-baselines3 ,
  author  = { Antonin Raffin and Ashley Hill and Adam Gleave and Anssi Kanervisto and Maximilian Ernestus and Noah Dormann } ,
  title   = { Stable-Baselines3: Reliable Reinforcement Learning Implementations } ,
  journal = { Journal of Machine Learning Research } ,
  year    = { 2021 } ,
  volume  = { 22 } ,
  number  = { 268 } ,
  pages   = { 1-8 } ,
  url     = { http://jmlr.org/papers/v22/20-1364.html }
}