reptile pytorch

Réptil

Implementação de Pytorch do algoritmo de répteis da OpenAI para aprendizado supervisionado.

Atualmente, ele é executado no Omniglot, mas ainda não no Miniimagenet.

O código não foi testado extensivamente. Contribuições e feedback são mais do que bem -vindos!

Conjunto de dados de meta-aprendizagem omniglot

Já existe uma classe de conjunto de dados Omniglot na Torchvision, no entanto, parece estar mais adaptada para aprendizado supervisionado do que o aprendizado de poucos anos.

O omniglot.py fornece uma maneira de provar as tarefas de base n-way k-shot da Omniglot, e vários utilitários para dividir conjuntos de meta-treinamento e tarefas básicas.

Características

• Monitore o treinamento com o TensorboardX.
• Interromper e retomar o treinamento.
• Treine e avalie o Omniglot.
• Tamanho do meta-lote> 1.
• Treine e avalie em mini-imagenet.
• Esclareça a configuração transdutiva versus não transdutiva.
• Adicione curvas de treinamento no ReadMe.
• Reproduza todas as configurações do código do OpenAI.
• Script de shell para baixar conjuntos de dados

Como treinar no Omniglot

Baixe as duas partes do conjunto de dados Omniglot:

• https://github.com/brendenlake/omniglot/raw/master/python/images_background.zip
• https://github.com/brendenlake/omniglot/blob/master/python/images_evaluation.zip

Crie uma pasta omniglot/ no repositório, descompacte e mescla os dois arquivos para ter a seguinte estrutura de pastas:

 ./train_omniglot.py
...
./omniglot/Alphabet_of_the_Magi/
./omniglot/Angelic/
./omniglot/Anglo-Saxon_Futhorc/
...
./omniglot/ULOG/

Agora comece a treinar com

 python train_omniglot.py log --cuda 0 $HYPERPARAMETERS  # with CPU
python train_omniglot.py log $HYPERPARAMETERS  # with CUDA

Onde $ hyperparameters depende de sua tarefa e hiperparâmetros.

Comportamento:

• Se nenhum ponto de verificação for encontrado no log/ , isso criará um log/ pasta para armazenar informações e pontos de verificação do tensorboard.
• Se os pontos de verificação forem encontrados no log/ , isso será retomado do último ponto de verificação.

O treinamento pode ser interrompido a qualquer momento com ^C e retomado do último ponto de verificação, executando o mesmo comando.

Omniglot Hyperparameters

O seguinte conjunto de hiperparâmetros funciona decentemente. Eles são retirados da implementação do OpenAI, mas são adaptados ligeiramente para meta-batch=1 .

Para 5 vias 5-shot (curva vermelha):

python train_omniglot.py log/o55 --classes 5 --shots 5 --train-shots 10 --meta-iterations 100000 --iterations 5 --test-iterations 50 --batch 10 --meta-lr 0.2 --lr 0.001

Para 1 tiro de 5 vias (curva azul):

python train_omniglot.py log/o51 --classes 5 --shots 1 --train-shots 12 --meta-iterations 200000 --iterations 12 --test-iterations 86 --batch 10 --meta-lr 0.33 --lr 0.00044

Referências

• Artigo original: Alex Nichol, Joshua Achiam, John Schulman. "Em algoritmos de meta-aprendizado de primeira ordem".
• Postagem do blog OpenAI. Confira, eles têm uma demonstração on -line em execução inteiramente em JavaScript!
• Código original em tensorflow: https://github.com/openai/supervise-reptile