cartpole

Cartpole

Solução de aprendizado de reforço do carrinho do Openai.

Confira o artigo médio correspondente: Cartpole - Introdução ao Aprendizagem de Reforço (DQN - Deep Q -Learning)

Sobre

Um poste é preso por uma articulação não acionada a um carrinho, que se move ao longo de uma faixa sem atrito. O sistema é controlado aplicando uma força de +1 ou -1 ao carrinho. O pêndulo começa na vertical, e o objetivo é impedir que ele caia. Uma recompensa de +1 é fornecida para todos os times de tempo que o poste permanece na posição vertical. O episódio termina quando o poste é superior a 15 graus da vertical, ou o carrinho se move mais de 2,4 unidades do centro. fonte

Dqn

DQN padrão com reprodução de experiência.

Hyperparameters:

• Gama = 0,95
• Aprendizador_rate = 0,001
• Memória_size = 1000000
• Batch_size = 20
• Exploration_max = 1.0
• Exploration_min = 0,01
• Exploration_Decay = 0,995

Estrutura do modelo:

1. Camada densa - entrada: 4 , saída: 24 , ativação: relu
2. Camada densa - entrada 24 , saída: 24 , ativação: relu
3. Camada densa - entrada 24 , saída: 2 , ativação: linear

• Função de perda de MSE
• Adam Optimizer

Desempenho

CartPole-V0 define "resolução" como recebendo recompensa média de 195,0 em mais de 100 julgamentos consecutivos. fonte

Exemplo de estudo GIF

Exemplo de gráfico de teste

Gráfico de ensaios resolvido

Autor

Greg (Grzegorz) Surma

Portfólio

Github

Blog