pytorch meta

토치 메타

Pytorch의 소수의 학습 및 메타 학습을위한 확장 및 데이터 로더 모음. Torchmeta에는 인기있는 메타 학습 벤치 마크가 포함되어 있으며 torchvision 및 Pytorch의 DataLoader 와 완전히 호환됩니다.

특징

• 소수의 분류 및 회귀 문제에 대한 통합 인터페이스로 여러 가지 문제와 재현성에 대한 벤치마킹을 쉽게 할 수 있습니다.
• 헬퍼는 문헌의 기본 논증과 함께 인기있는 문제에 대해 기능합니다.
• 특정 메타 학습 모델 (예 : 그라디언트 기반 메타 학습 방법)의 생성을 단순화하는 MetaModule 이라는 Pytorch Module 의 얇은 확장. MetaModule 사용한 예는 MAML 예제를 참조하십시오.

사용 가능한 데이터 세트

• 소수의 회귀 (장난감 문제) :
  • 사인파 (Finn et al., 2017)
  • 고조파 기능 (Lacoste et al., 2018)
  • Sinusoid & lines (Finn et al., 2018)
• 소수의 분류 (이미지 분류) :
  • Omniglot (Lake et al., 2015, 2019)
  • Mini-Imagenet (Vinyals et al., 2016, Ravi et al., 2017)
  • Tiered-Imagenet (Ren et al., 2018)
  • Cifar-FS (Bertinetto et al., 2018)
  • Feenshot-Cifar100 (Oreshkin et al., 2018)
  • Caltech-UCSD 조류 (Hilliard et al., 2019, Wah et al., 2019)
  • Double Mnist (Sun, 2019)
  • Triple Mnist (Sun, 2019)
• 소수의 샷 세분화 (시맨틱 세분화) :
  • Pascal5i 1 방향 설정
• 소수의 분류 (표 데이터 세트)
  • 편지 (Frey & Slate, 1991)
  • 10 개의 식물 (마진) (Mallah et al. 2013)
  • 1 백 식물 (모양) (Mallah et al. 2013)
  • 10 개의 식물 (질감) (Mallah et al. 2013)
  • 바흐 합창 조화 (Radicioni & Esposito, 2010)

설치

Python의 패키지 관리자 Pip 또는 Source에서 Torchmeta를 설치할 수 있습니다. 기존 Python 설정과의 충돌을 피하기 위해 virtualenv 와 함께 가상 환경에서 작동하는 것이 좋습니다. virtualenv 설치하려면 :

pip install --upgrade virtualenv
virtualenv venv
source venv/bin/activate

요구 사항

• 파이썬 3.6 이상
• Pytorch 1.4 이상
• Torchvision 0.5 이상

PIP 사용

이것은 Torchmeta를 설치하는 권장 방법입니다.

pip install torchmeta

소스에서

소스에서 Torchmeta를 설치할 수도 있습니다. Torchmeta에 기여하려는 경우 권장됩니다.

git clone https://github.com/tristandeleu/pytorch-meta.git
cd pytorch-meta
python setup.py install

예

최소한의 예

아래 의이 최소 예는 Torchmeta와 함께 5-샷 5 웨이 Omniglot 데이터 세트의 데이터 로더를 만드는 방법을 보여줍니다. 데이터 로더는 무작위로 생성 된 작업의 배치를로드하고 모든 샘플은 단일 텐서로 연결됩니다. 더 많은 예를 보려면 예제 폴더를 확인하십시오.

 from torchmeta . datasets . helpers import omniglot
from torchmeta . utils . data import BatchMetaDataLoader

dataset = omniglot ( "data" , ways = 5 , shots = 5 , test_shots = 15 , meta_train = True , download = True )
dataloader = BatchMetaDataLoader ( dataset , batch_size = 16 , num_workers = 4 )

for batch in dataloader :
    train_inputs , train_targets = batch [ "train" ]
    print ( 'Train inputs shape: {0}' . format ( train_inputs . shape ))    # (16, 25, 1, 28, 28)
    print ( 'Train targets shape: {0}' . format ( train_targets . shape ))  # (16, 25)

    test_inputs , test_targets = batch [ "test" ]
    print ( 'Test inputs shape: {0}' . format ( test_inputs . shape ))      # (16, 75, 1, 28, 28)
    print ( 'Test targets shape: {0}' . format ( test_targets . shape ))    # (16, 75) 

고급 예

헬퍼 기능은 사용 가능한 일부 데이터 세트에서만 사용할 수 있습니다. 그러나 Torchmeta가 제공하는 통합 인터페이스를 통해 모두 사용할 수 있습니다. 위에서 정의 된 변수 dataset 다음과 같습니다.

 from torchmeta . datasets import Omniglot
from torchmeta . transforms import Categorical , ClassSplitter , Rotation
from torchvision . transforms import Compose , Resize , ToTensor
from torchmeta . utils . data import BatchMetaDataLoader

dataset = Omniglot ( "data" ,
                   # Number of ways
                   num_classes_per_task = 5 ,
                   # Resize the images to 28x28 and converts them to PyTorch tensors (from Torchvision)
                   transform = Compose ([ Resize ( 28 ), ToTensor ()]),
                   # Transform the labels to integers (e.g. ("Glagolitic/character01", "Sanskrit/character14", ...) to (0, 1, ...))
                   target_transform = Categorical ( num_classes = 5 ),
                   # Creates new virtual classes with rotated versions of the images (from Santoro et al., 2016)
                   class_augmentations = [ Rotation ([ 90 , 180 , 270 ])],
                   meta_train = True ,
                   download = True )
dataset = ClassSplitter ( dataset , shuffle = True , num_train_per_class = 5 , num_test_per_class = 15 )
dataloader = BatchMetaDataLoader ( dataset , batch_size = 16 , num_workers = 4 )

데이터 세트를 수신하는 데이터 로더는 동일하게 유지됩니다.

소환

Tristan Deleu, Tobias Würfl, Mandana Samiei, Joseph Paul Cohen 및 Yoshua Bengio. Torchmeta : Pytorch의 메타 학습 라이브러리, 2019 [Arxiv]

Torchmeta를 인용하려면 다음 Bibtex 항목을 사용하십시오.

 @misc{deleu2019torchmeta,
  title={{Torchmeta: A Meta-Learning library for PyTorch}},
  author={Deleu, Tristan and W"urfl, Tobias and Samiei, Mandana and Cohen, Joseph Paul and Bengio, Yoshua},
  year={2019},
  url={https://arxiv.org/abs/1909.06576},
  note={Available at: https://github.com/tristandeleu/pytorch-meta}
}