babyai

2023 Atualização

Todos os ambientes Babyai agora fazem parte da Biblioteca Minigrid. Este repositório não é mantido ativamente.

Treinar agentes RL em ambientes de minigrid (e babyai) podem ser feitos usando este repositório.

Este repositório ainda contém scripts que, se adaptados à Biblioteca Minigrid, poderiam ser usados ​​para:

• Produzir demonstrações usando o bot Babyai,
• Os agentes de aprendizado de imitação de trem usando as demonstrações geradas por bots como trajetórias de treinamento.

Babyai 1.1

Babyai é uma plataforma usada para estudar a eficiência da amostra da aquisição de idiomas fundamentada, criada na MILA.

O ramo principal deste repositório é atualizado com frequência. Se você deseja replicar ou comparar com os resultados da linha de base, recomendamos que você use o ramo Babyai 1.1 e cite os dois:

 @misc{hui2020babyai,
    title={BabyAI 1.1},
    author={David Yu-Tung Hui and Maxime Chevalier-Boisvert and Dzmitry Bahdanau and Yoshua Bengio},
    year={2020},
    eprint={2007.12770},
    archivePrefix={arXiv},
    primaryClass={cs.AI}
}

e o artigo ICLR19, que detalha a configuração experimental e os resultados da linha de base Babyai 1.0. Seu código -fonte está na filial ICLR19:

 @inproceedings{
  babyai_iclr19,
  title={Baby{AI}: First Steps Towards Grounded Language Learning With a Human In the Loop},
  author={Maxime Chevalier-Boisvert and Dzmitry Bahdanau and Salem Lahlou and Lucas Willems and Chitwan Saharia and Thien Huu Nguyen and Yoshua Bengio},
  booktitle={International Conference on Learning Representations},
  year={2019},
  url={https://openreview.net/forum?id=rJeXCo0cYX},
}

Este ReadMe cobre instruções para instalação e solução de problemas. Outras instruções são:

• Instruções sobre como contribuir
• Estrutura da base de código
• Treinamento, avaliação e reprodução de resultados da linha de base
• Babyai 1.0+ níveis e níveis mais antigos.

Instalação

CONDA (recomendado)

Se você estiver usando o CONDA, pode criar um ambiente babyai com todas as dependências executando:

 git clone https://github.com/mila-iqia/babyai.git
cd babyai
conda env create -f environment.yaml
source activate babyai

Depois disso, execute os seguintes comandos para configurar o ambiente.

 cd ..
git clone https://github.com/maximecb/gym-minigrid.git
cd gym-minigrid
pip install --editable .

O último comando instala o repositório no modo editável. Volte para o repositório babyai e instale isso também no modo editável.

 cd ../babyai
pip install --editable .

Finalmente, siga estas instruções

Instalação manual

Requisitos:

• Python 3.6+
• Academia aberta
• Numpy
• Pytorch 0.4.1+
• BLOSC

Primeiro instale o Pytorch para na sua plataforma.

Em seguida, clone este repositório e instale as outras dependências com pip3 :

 git clone https://github.com/mila-iqia/babyai.git
cd babyai
pip3 install --editable .

Finalmente, siga estas instruções

Caminho de armazenamento Babyai

Adicione esta linha ao .bashrc (linux) ou .bash_profile (mac).

 export BABYAI_STORAGE='/<PATH>/<TO>/<BABYAI>/<REPOSITORY>/<PARENT>'

Onde /<PATH>/<TO>/<BABYAI>/<REPOSITORY>/<PARENT> é a pasta em que você digitou git clone https://github.com/mila-iqia/babyai.git anteriormente.

Modelos, logs e demos serão produzidos neste diretório, nos models de pastas, logs e demos respectivamente.

Baixando as demos

Estes podem ser baixados aqui

Certifique -se de que o arquivo baixado possui a seguinte verificação MD5 (obtida via md5sum ): 1df202ef2bbf2de768633059ed8db64c

Antes da extração:

 gunzip -c copydemos.tar.gz | tar xvf -

O uso da arquitetura pixels não funciona com o aprendizado de imitação , porque as demonstrações não foram geradas para usar pixels.

Solução de problemas

Se você executar mensagens de erro relacionadas ao OpenAI Gym, pode ser que a versão das bibliotecas que você instalou seja incompatível. Você pode tentar atualizar bibliotecas específicas com o PIP3, por exemplo: pip3 install --upgrade gym . Se o problema persistir, abra um problema neste repositório e cole uma mensagem de erro completa , juntamente com algumas informações sobre sua plataforma (você está executando o Windows, Mac, Linux? Você está executando isso em uma máquina MILA?).

Observações de pixel

Observe que o formato de observação padrão é uma visão parcialmente observável do ambiente usando uma codificação compacta, com 3 valores de entrada por célula da grade visível, valores de 7x7x3. Esses valores não são pixels . Se você deseja obter uma variedade de pixels RGB como observações, use o RGBImgPartialObsWrapper . Você pode usá -lo da seguinte maneira:

 import babyai
from gym_minigrid.wrappers import *
env = gym.make('BabyAI-GoToRedBall-v0')
env = RGBImgPartialObsWrapper(env)

Esse invólucro, assim como outros invólucros para alterar o formato de observação, pode ser encontrado aqui.