stable baselines3 contrib

Basélines stables3 - contrib (SB3-Contrib)

Package contrib pour les bases stables3 - code d'apprentissage par renforcement expérimental (RL). "SB3-Contrib" pour faire court.

Qu'est-ce que SB3-Contrib?

Une place pour les algorithmes RL et les outils considérés comme expérimentaux, par exemple les implémentations des dernières publications. L'objectif est de maintenir la simplicité, la documentation et le style de basélines stables3 mais pour des implémentations moins matures.

Pourquoi créer ce référentiel?

Au cours de la durée des bases stables et des bases stables3, la communauté a hâte de contribuer sous forme de meilleurs services publics de journalisation, d'emballages environnementaux, de soutien prolongé (par exemple différents espaces d'action) et d'algorithmes d'apprentissage.

Cependant, parfois, ces services publics étaient trop de niche pour être pris en compte pour des bases stables ou se sont avérés trop difficiles à intégrer bien dans le code existant sans créer de gâchis. SB3-Contrib vise à résoudre ce problème en ne nécessitant pas l'intégration de code la plus soignée avec le code existant et en ne fixant pas les limites de ce qui est trop niche: presque tout ce qui est utile à distance! Nous espérons que cela nous permettra de fournir des implémentations fiables après des normes habituelles de base stable (style cohérent, documentation, etc.) au-delà de la portée relativement petite des services publics dans le référentiel principal.

Caractéristiques

Voir la documentation pour la liste complète des fonctionnalités incluses.

Algorithmes RL :

• Recherche aléatoire augmentée (ARS)
• Régression quantile DQN (QR-DQN)
• PPO avec masquage d'action invalide (maskableppo)
• PPO avec une politique récurrente (récurrenteppo aka ppo lstm)
• Critiques quantiles tronqués (TQC)
• Optimisation des politiques de la région de confiance (TRPO)
• Normalisation par lots dans l'apprentissage en renforcement profond (Crossq)

Emballages de gym :

• Emballage du temps

Documentation

La documentation est disponible en ligne: https://sb3-contrain.readthedocs.io/

Installation

Pour installer des lignes de base stables3 contrible avec PIP, exécutez:

 pip install sb3-contrib

Nous vous recommandons d'utiliser la version master de STABLE BASELINES3.

Pour installer la version master de base de base stable::

 pip install git+https://github.com/DLR-RM/stable-baselines3

Pour installer la version master de base de base stable3:

 pip install git+https://github.com/Stable-Baselines-Team/stable-baselines3-contrib

Comment contribuer

Si vous souhaitez contribuer, veuillez d'abord lire contribution.md Guide.

Citant le projet

Pour citer ce référentiel dans les publications (veuillez citer directement SB3):

 @article { stable-baselines3 ,
  author  = { Antonin Raffin and Ashley Hill and Adam Gleave and Anssi Kanervisto and Maximilian Ernestus and Noah Dormann } ,
  title   = { Stable-Baselines3: Reliable Reinforcement Learning Implementations } ,
  journal = { Journal of Machine Learning Research } ,
  year    = { 2021 } ,
  volume  = { 22 } ,
  number  = { 268 } ,
  pages   = { 1-8 } ,
  url     = { http://jmlr.org/papers/v22/20-1364.html }
}