openai_lab

Laboratorio Operai

---

Aviso: use la próxima versión, SLM-LAB.

---

Documentación de laboratorio de Openai

---

Un marco de experimentación para el aprendizaje de refuerzo usando el gimnasio Operai, Tensorflow y Keras.

Operai Lab se crea para hacer el aprendizaje de refuerzo (RL) como la ciencia: teorizar, experimentar . Proporciona una interfaz fácil para Operai Gym y Keras, con un marco automatizado de experimentación y evaluación.

Características

1. Entorno y interfaz de entorno RL unificado utilizando Operai Gym, TensorFlow, Keras, para que pueda concentrarse en desarrollar los algoritmos.
2. Implementaciones de algoritmos RL Core, con componentes modulares reutilizables para desarrollar algoritmos RL profundos.
3. Un marco de experimentación para ejecutar cientos de pruebas de optimizaciones de hiperparameter, con registros, tramas y análisis para probar nuevos algoritmos RL. Los ajustes experimentales se almacenan en JSON estandarizados para la reproducibilidad y las comparaciones.
4. Análisis automatizado de los experimentos para evaluar los agentes y entornos RL, y para ayudar a elegir la mejor solución.
5. La matriz de fitness , una tabla de los mejores puntajes de algoritmos RL frente a los entornos; útil para la investigación.

Con Operai Lab, podríamos centrarnos en investigar los elementos esenciales del aprendizaje de refuerzo, como el algoritmo, la política, la memoria y el ajuste de los parámetros. Nos permite construir agentes de manera eficiente utilizando componentes existentes con las implementaciones a partir de ideas de investigación. Luego podríamos probar las hipótesis de investigación sistemáticamente ejecutando experimentos.

Lea más sobre los problemas de investigación que aborda el laboratorio en las motivaciones. En última instancia, el laboratorio es un marco generalizado para hacer un aprendizaje de refuerzo, agnóstico del gimnasio Operai y Keras. Por ejemplo, las implementaciones basadas en Pytorch están en la hoja de ruta.

Algoritmos implementados

Una lista de los algoritmos Core RL implementados/planificados.

Para ver sus puntajes contra entornos de gimnasio Operai, vaya a la matriz de fitness .

algoritmo	implementación	puntaje eval (pendiente)
Dqn	Dqn	-
Doble dqn	Doubledqn	-
Duelo DQN	-	-
Sarsa	Profundo	-
Sarsa sin política	OffpolicySarsa	-
Por (repetición de experiencia priorizada)	PriorizedExperiencePlay	-
CEM (método de entropía cruzada)	próximo	-
REFORZARSE	-	-
DPG (Gradiente de Política Determinista) Actor Off Policy Critic	Actorcrítico	-
DDPG (Deep-DPG) Actor-Critic con redes de destino	Ddpg	-
A3C (Actor-Actor-Criticic de ventaja asíncrona)	-	-
Dyna	próximo	-
Trpo	-	-
Q*(Lambda)	-	-
Retroceso (Lambda)	-	-
Control episódico neural (NEC)	-	-
EWC (consolidación de peso elástico)	-	-

Ejecutar el laboratorio

A continuación, vea la instalación y salte a QuickStart.

Tiempo de tiempo de Operai Lab, Resolviendo Cartpole-V0.