pytorch meta

Torchmeta

Коллекция расширений и загрузчиков данных для нескольких выстрелов и мета-обучения в Pytorch. Torchmeta содержит популярные тесты мета-обучения, полностью совместимые как с torchvision , так и с DataLoader от Pytorch.

Функции

• Унифицированный интерфейс как для нескольких выстрелов, так и для проблем с регрессией, чтобы обеспечить легкую сравнительную оценку по нескольким проблемам и воспроизводимости.
• Помощные функции для некоторых популярных проблем, с аргументами по умолчанию из литературы.
• Тонкое расширение Module Pytorch, называемого MetaModule , которое упрощает создание определенных моделей мета-обучения (например, методы мета-обучения на основе градиента). См. Пример MAML для примера с использованием MetaModule .

Доступны наборы данных

• Несколько выстрела регрессии (проблемы с игрушками):
  • Синусные волны (Finn et al., 2017)
  • Гармонические функции (Lacoste et al., 2018)
  • Синусоиды и линии (Finn et al., 2018)
• Несколько выстрелов классификации (классификация изображений):
  • Omniglot (Lake et al., 2015, 2019)
  • Mini-Imagenet (Vinyanals et al., 2016, Ravi et al., 2017)
  • Многоуровневый имаген (Ren et al., 2018)
  • Cifar-FS (Bertinetto et al., 2018)
  • Smentshot-Cifar100 (Oreshkin et al., 2018)
  • Caltech-UCSD птицы (Hilliard et al., 2019, Wah et al., 2019)
  • Double Mnist (Sun, 2019)
  • Triple Mnist (Sun, 2019)
• Несколько выстрелов (семантическая сегментация):
  • Pascal5i 1-way Setup
• Несколько выстрелов (табличные наборы данных)
  • Письмо (Frey & Slate, 1991)
  • Сто растений (маржа) (Mallah et al. 2013)
  • Сто растений (форма) (Mallah et al. 2013)
  • Сто растений (текстура) (Mallah et al. 2013)
  • Хорская гармония Баха (Radicioni & Esposito, 2010)

Установка

Вы можете установить Torchmeta, используя диспетчер пакетов Python PIP, либо из источника. Чтобы избежать какого -либо конфликта с вашей существующей настройкой Python, предлагается работать в виртуальной среде с virtualenv . Для установки virtualenv :

pip install --upgrade virtualenv
virtualenv venv
source venv/bin/activate

Требования

• Python 3.6 или выше
• Pytorch 1,4 или выше
• TOCHVISION 0,5 или выше

Использование PIP

Это рекомендуемый способ установить Torchmeta:

pip install torchmeta

Из источника

Вы также можете установить Torchmeta из Source. Это рекомендуется, если вы хотите внести свой вклад в Torchmeta.

git clone https://github.com/tristandeleu/pytorch-meta.git
cd pytorch-meta
python setup.py install

Пример

Минимальный пример

В этом минимальном примере ниже показано, как создать DataLoader для 5-часового набора данных Omniglot с 5-выстрелом. DataLoader загружает партию случайно сгенерированных задач, и все образцы объединяются в один тензор. Для получения дополнительных примеров, проверьте папку «Примеры».

 from torchmeta . datasets . helpers import omniglot
from torchmeta . utils . data import BatchMetaDataLoader

dataset = omniglot ( "data" , ways = 5 , shots = 5 , test_shots = 15 , meta_train = True , download = True )
dataloader = BatchMetaDataLoader ( dataset , batch_size = 16 , num_workers = 4 )

for batch in dataloader :
    train_inputs , train_targets = batch [ "train" ]
    print ( 'Train inputs shape: {0}' . format ( train_inputs . shape ))    # (16, 25, 1, 28, 28)
    print ( 'Train targets shape: {0}' . format ( train_targets . shape ))  # (16, 25)

    test_inputs , test_targets = batch [ "test" ]
    print ( 'Test inputs shape: {0}' . format ( test_inputs . shape ))      # (16, 75, 1, 28, 28)
    print ( 'Test targets shape: {0}' . format ( test_targets . shape ))    # (16, 75) 

Расширенный пример

Помощные функции доступны только для некоторых доступных наборов данных. Тем не менее, все они доступны через унифицированный интерфейс, предоставленный Torchmeta. dataset переменной, определенный выше, эквивалентен следующему

 from torchmeta . datasets import Omniglot
from torchmeta . transforms import Categorical , ClassSplitter , Rotation
from torchvision . transforms import Compose , Resize , ToTensor
from torchmeta . utils . data import BatchMetaDataLoader

dataset = Omniglot ( "data" ,
                   # Number of ways
                   num_classes_per_task = 5 ,
                   # Resize the images to 28x28 and converts them to PyTorch tensors (from Torchvision)
                   transform = Compose ([ Resize ( 28 ), ToTensor ()]),
                   # Transform the labels to integers (e.g. ("Glagolitic/character01", "Sanskrit/character14", ...) to (0, 1, ...))
                   target_transform = Categorical ( num_classes = 5 ),
                   # Creates new virtual classes with rotated versions of the images (from Santoro et al., 2016)
                   class_augmentations = [ Rotation ([ 90 , 180 , 270 ])],
                   meta_train = True ,
                   download = True )
dataset = ClassSplitter ( dataset , shuffle = True , num_train_per_class = 5 , num_test_per_class = 15 )
dataloader = BatchMetaDataLoader ( dataset , batch_size = 16 , num_workers = 4 )

Обратите внимание, что DataLoader, получающий набор данных, остается прежним.

Цитирование

Тристан Делеу, Тобиас Вюрфл, Мандана Самии, Джозеф Пол Коэн и Йошуа Бенгио. Torchmeta: библиотека мета-обучения для Pytorch, 2019 [arxiv]

Если вы хотите процитировать Torchmeta, используйте следующую запись Bibtex:

 @misc{deleu2019torchmeta,
  title={{Torchmeta: A Meta-Learning library for PyTorch}},
  author={Deleu, Tristan and W"urfl, Tobias and Samiei, Mandana and Cohen, Joseph Paul and Bengio, Yoshua},
  year={2019},
  url={https://arxiv.org/abs/1909.06576},
  note={Available at: https://github.com/tristandeleu/pytorch-meta}
}