pytorch meta

Meta de antorchas

Una colección de extensiones y cargadores de datos para aprendizaje de pocos disparos y meta-aprendizaje en Pytorch. Torchmeta contiene puntos de referencia populares de meta-aprendizaje, totalmente compatible con torchvision y Pytorch's DataLoader .

Características

• Una interfaz unificada para problemas de clasificación y regresión de pocos disparos, para permitir una evaluación comparativa fácil en múltiples problemas y reproducibilidad.
• Ayudante funciona para algunos problemas populares, con argumentos predeterminados de la literatura.
• Una extensión delgada del Module de Pytorch, llamado MetaModule , que simplifica la creación de ciertos modelos de meta-aprendizaje (por ejemplo, métodos de metacel-learning basados en gradiente). Vea el ejemplo MAML para un ejemplo usando MetaModule .

Conjuntos de datos disponibles

• REGRESión de pocos disparos (problemas de juguete):
  • Sine Waves (Finn et al., 2017)
  • Funciones armónicas (Lacoste et al., 2018)
  • Sinusoid y líneas (Finn et al., 2018)
• Clasificación de pocos disparos (clasificación de imágenes):
  • Omniglot (Lake et al., 2015, 2019)
  • Mini-Imagenet (Vinyals et al., 2016, Ravi et al., 2017)
  • Tiered-iMagenet (Ren et al., 2018)
  • CIFAR-FS (Bertinetto et al., 2018)
  • Pocosshot-cifar100 (Oreshkin et al., 2018)
  • Caltech-UCSD Birds (Hilliard et al., 2019, Wah et al., 2019)
  • Double Mnist (Sun, 2019)
  • Triple Mnist (Sun, 2019)
• Segmentación de pocos disparos (segmentación semántica):
  • Configuración de 1 vía PASCAL5I
• Clasificación de pocos disparos (conjuntos de datos tabulares)
  • Carta (Frey y Slate, 1991)
  • Cien plantas (margen) (Mallah et al. 2013)
  • Cien plantas (forma) (Mallah et al. 2013)
  • Cien plantas (textura) (Mallah et al. 2013)
  • Bach Choral Armony (Radicioni y Esposito, 2010)

Instalación

Puede instalar Torchmeta utilizando Python's Package Manager Pip o desde la fuente. Para evitar cualquier conflicto con su configuración de Python existente, se sugiere que funcione en un entorno virtual con virtualenv . Para instalar virtualenv :

pip install --upgrade virtualenv
virtualenv venv
source venv/bin/activate

Requisitos

• Python 3.6 o superior
• Pytorch 1.4 o superior
• Visión de antorchas 0.5 o más

Usando Pip

Esta es la forma recomendada de instalar Torchmeta:

pip install torchmeta

De la fuente

También puede instalar Torchmeta desde la fuente. Esto se recomienda si desea contribuir a Torchmeta.

git clone https://github.com/tristandeleu/pytorch-meta.git
cd pytorch-meta
python setup.py install

Ejemplo

Ejemplo mínimo

Este ejemplo mínimo a continuación muestra cómo crear un DataLoader para el conjunto de datos Omniglot de 5 vías de 5 disparos con Torchmeta. El dataloader carga un lote de tareas generadas al azar, y todas las muestras se concatenan en un solo tensor. Para obtener más ejemplos, consulte la carpeta de ejemplos.

 from torchmeta . datasets . helpers import omniglot
from torchmeta . utils . data import BatchMetaDataLoader

dataset = omniglot ( "data" , ways = 5 , shots = 5 , test_shots = 15 , meta_train = True , download = True )
dataloader = BatchMetaDataLoader ( dataset , batch_size = 16 , num_workers = 4 )

for batch in dataloader :
    train_inputs , train_targets = batch [ "train" ]
    print ( 'Train inputs shape: {0}' . format ( train_inputs . shape ))    # (16, 25, 1, 28, 28)
    print ( 'Train targets shape: {0}' . format ( train_targets . shape ))  # (16, 25)

    test_inputs , test_targets = batch [ "test" ]
    print ( 'Test inputs shape: {0}' . format ( test_inputs . shape ))      # (16, 75, 1, 28, 28)
    print ( 'Test targets shape: {0}' . format ( test_targets . shape ))    # (16, 75) 

Ejemplo avanzado

Las funciones auxiliar solo están disponibles para algunos de los conjuntos de datos disponibles. Sin embargo, todos están disponibles a través de la interfaz unificada proporcionada por Torchmeta. El dataset variable definido anteriormente es equivalente a lo siguiente

 from torchmeta . datasets import Omniglot
from torchmeta . transforms import Categorical , ClassSplitter , Rotation
from torchvision . transforms import Compose , Resize , ToTensor
from torchmeta . utils . data import BatchMetaDataLoader

dataset = Omniglot ( "data" ,
                   # Number of ways
                   num_classes_per_task = 5 ,
                   # Resize the images to 28x28 and converts them to PyTorch tensors (from Torchvision)
                   transform = Compose ([ Resize ( 28 ), ToTensor ()]),
                   # Transform the labels to integers (e.g. ("Glagolitic/character01", "Sanskrit/character14", ...) to (0, 1, ...))
                   target_transform = Categorical ( num_classes = 5 ),
                   # Creates new virtual classes with rotated versions of the images (from Santoro et al., 2016)
                   class_augmentations = [ Rotation ([ 90 , 180 , 270 ])],
                   meta_train = True ,
                   download = True )
dataset = ClassSplitter ( dataset , shuffle = True , num_train_per_class = 5 , num_test_per_class = 15 )
dataloader = BatchMetaDataLoader ( dataset , batch_size = 16 , num_workers = 4 )

Tenga en cuenta que el dataLoader, que recibe el conjunto de datos, sigue siendo el mismo.

Citación

Tristan Deleu, Tobias Würfl, Mandana Samiei, Joseph Paul Cohen y Yoshua Bengio. Torchmeta: una biblioteca meta-learning para Pytorch, 2019 [ARXIV]

Si desea citar Torchmeta, use la siguiente entrada de Bibtex:

 @misc{deleu2019torchmeta,
  title={{Torchmeta: A Meta-Learning library for PyTorch}},
  author={Deleu, Tristan and W"urfl, Tobias and Samiei, Mandana and Cohen, Joseph Paul and Bengio, Yoshua},
  year={2019},
  url={https://arxiv.org/abs/1909.06576},
  note={Available at: https://github.com/tristandeleu/pytorch-meta}
}