pytorch rl

Aprendizagem de reforço profundo em Pytorch

Este repositório contém todos os algoritmos RL sem modelo e baseados em modelos (chegando) em Pytorch. (Também pode conter algumas idéias de pesquisa em que estou trabalhando atualmente)

Para C ++ versão de pytorch-rl: pytorch-rl-cpp

O que é?

O Pytorch-RL implementa alguns algoritmos de aprendizado de reforço profundo de última geração em Pytorch, especialmente aqueles preocupados com espaços de ação contínuos. Você pode treinar seu algoritmo com eficiência na CPU ou GPU. Além disso, o Pytorch-RL trabalha com a academia OpenAI pronta para uso. Isso significa que é fácil avaliar e brincar com algoritmos diferentes. Claro que você pode estender o Pytorch-RL de acordo com suas próprias necessidades. TL: DR: Pytorch-RL facilita a execução de algoritmos de aprendizado de reforço profundo de ponta.

Instalação

Instale o Pytorch-RL da Pypi (recomendado):

PIP Instale Pytorch-Policy

Dependências

1. Pytorch
2. Academia (Openai)
3. Mujoco-Py (para a simulação de física e a robótica ENV na academia)
4. Pybullet (em breve)
5. MPI (suportado apenas com instalação de back -end de back -end)
6. Tensorboardx (https://github.com/lanpa/tensorboardx)

Algoritmos RL

1. DQN (com Double Q Learning)
2. Ddpg
3. DDPG com ela (para os ambientes de busca do Openai)
4. Aprendizagem de reforço herárquico
5. Experiência priorizada Replay + DDPG
6. DDPG com reprodução de experiência em retrospectiva priorizada (pesquisa)
7. Mapa neural com A3C (em breve)
8. Rainbow DQN (em breve)
9. PPO (https://github.com/ikostrikov/pytorch-a2c-ppo-acktr)
10. Ela com atenção própria para a substituição de objetivos (pesquisa)
11. A3C (em breve)
12. Acer (em breve)
13. Darla
14. TDM
15. Modelos mundiais
16. Soft ator-crítico
17. Exploração orientada ao empoderamento (implementação do TensorFlow: https://github.com/navneet-nmk/empowerment-driven-exploration)

Ambientes

1. Saia
2. Pong (em breve)
3. Manipulação de mão Tarefa robótica
4. Buscar uma tarefa robótica de alcance
5. Tarefa robótica de alcance à mão
6. Bloco Manipulação Tarefa Robótica
7. Vingança de Montezuma (pesquisa atual)
8. Armadilha
9. Gravitar
10. Trava
11. Super Mario Bros (siga as instruções para instalar o ginásio https://github.com/openai/tro)
12. Desafio de Nips de próteses OpenSim (https://www.crowdai.org/challenges/nips-2018-ai-for-prosthetics-challenge)

Modelagem de Meio Ambiente (para Exploração e Adaptação de Domínio)

Vários truques de treinamento de GaN foram usados ​​devido à instabilidade no treinamento de geradores e discriminadores. Consulte https://github.com/soumith/ganhacks para obter mais informações.

Mesmo depois de usar os truques, era realmente difícil treinar um gan para convergência. No entanto, após o uso de normalização espectral (https://arxiv.org/abs/1802.05957), o infogan foi treinado para convergência.

Para tarefas de tradução de imagem para imagens com Gans e VAEs em geral, o treinamento com a conexão SKIP realmente ajuda o treinamento.

1. beta-vas
2. Infogan
3. CVAE-GAN
4. Modelos generativos baseados em fluxo (pesquisa)
5. Sagan
6. Frequentar sequencial, inferir, repetir
7. Exploração orientada a curiosidade
8. Ruído de espaço de parâmetro para exploração
9. Rede barulhenta

Referências

1. Jogando Atari com profundo aprendizado de reforço, Mnih et al., 2013
2. Controle no nível humano através do aprendizado de reforço profundo, Mnih et al., 2015
3. Aprendizagem de reforço profundo com duplo q-learning, Van Hasselt et al., 2015
4. Controle contínuo com aprendizado de reforço profundo, Lillicrap et al., 2015
5. CVAE-GAN: geração de imagens de grão fino através de treinamento assimétrico, Bao et al., 2017
6. Beta-vas: Aprendendo conceitos visuais básicos com uma estrutura variacional restrita, Higgins et al., 2017
7. Replay Experience Replay, Andrychowicz et al., 2017
8. InfoGan: Learning de representação interpretável por maximizar as redes adversárias generativas, Chen et al., 2016
9. Modelos Mundiais, Ha et al., 2018
10. Normalização espectral para redes adversárias generativas, Miyato et al., 2018
11. Redes adversárias generativas de auto-distribuição, Zhang et al., 2018
12. Exploração orientada por curiosidade por previsão auto-supervisionada, Pathak et al., 2017
13. Ator-ator mole: Aprendizagem de reforço profundo da entropia máxima da política fora da política com um ator estocástico, Haarnoja et al., 2018
14. Ruído de espaço de parâmetro para exploração, Plappert et al., 2018
15. Rede Noisy de Exploração, Fortunato et al., 2018
16. Algoritmos de otimização de políticas proximais, Schulman et al., 2017
17. Controle em tempo real não supervisionado por meio de empoderamento variacional, Karl et al., 2017
18. Informação mútua Estimativa neural, Belghazi et al., 2018
19. Exploração orientada ao empoderamento usando estimativa de informações mútuas, Kumar et al., 2018