ttach

TTACH

Увеличение времени теста изображения с помощью Pytorch!

Подобно тому, что увеличение данных делает с учебным набором, цель увеличения времени теста состоит в том, чтобы выполнить случайные модификации тестовых изображений. Таким образом, вместо того, чтобы показывать обычные «чистые» изображения, только один раз к обученной модели, мы покажем ему дополненные изображения несколько раз. Затем мы проведем средние прогнозы каждого соответствующего изображения и примем это как наше последнее предположение [1].

           Input
             |           # input batch of images 
        / / /|        # apply augmentations (flips, rotation, scale, etc.)
       | | | | | | |     # pass augmented batches through model
       | | | | | | |     # reverse transformations for each batch of masks/labels
           / / /      # merge predictions (mean, max, gmean, etc.)
             |           # output batch of masks/labels
           Output

Оглавление

1. Быстрый старт
2. Трансформации
3. Псевдонимы
4. Режимы слияния
5. Установка

Быстрый старт

Модель сегментации обертывание [Docstring]:

 import ttach as tta
tta_model = tta . SegmentationTTAWrapper ( model , tta . aliases . d4_transform (), merge_mode = 'mean' )

Классификационная модель упаковка [Docstring]:

 tta_model = tta . ClassificationTTAWrapper ( model , tta . aliases . five_crop_transform ())

Кладночные модели обертывание [Docstring]:

 tta_model = tta . KeypointsTTAWrapper ( model , tta . aliases . flip_transform (), scaled = True )

Примечание : модель должна возвращать клавиши в формате torch([x1, y1, ..., xn, yn])

Усовершенствованные примеры

Custom Transform:

 # defined 2 * 2 * 3 * 3 = 36 augmentations !
transforms = tta . Compose (
    [
        tta . HorizontalFlip (),
        tta . Rotate90 ( angles = [ 0 , 180 ]),
        tta . Scale ( scales = [ 1 , 2 , 4 ]),
        tta . Multiply ( factors = [ 0.9 , 1 , 1.1 ]),        
    ]
)

tta_model = tta . SegmentationTTAWrapper ( model , transforms )

Пользовательская модель (мульти вход / многопрофик)

 # Example how to process ONE batch on images with TTA
# Here `image`/`mask` are 4D tensors (B, C, H, W), `label` is 2D tensor (B, N)

for transformer in transforms : # custom transforms or e.g. tta.aliases.d4_transform() 
    
    # augment image
    augmented_image = transformer . augment_image ( image )
    
    # pass to model
    model_output = model ( augmented_image , another_input_data )
    
    # reverse augmentation for mask and label
    deaug_mask = transformer . deaugment_mask ( model_output [ 'mask' ])
    deaug_label = transformer . deaugment_label ( model_output [ 'label' ])
    
    # save results
    labels . append ( deaug_mask )
    masks . append ( deaug_label )
    
# reduce results as you want, e.g mean/max/min
label = mean ( labels )
mask = mean ( masks )

Трансформации

Преобразование	Параметры	Ценности
Horizontalflip	-	-
Verticalflip	-	-
Rotate90	угловой	Список [0, 90, 180, 270]
Шкала	шкалы интерполяция	Список [float] "ближайший"/"линейный"
Изменение размера	размеры Original_size интерполяция	Список [Tuple [int, int]] Тупел [int, int] "ближайший"/"линейный"
Добавлять	ценности	Список [float]
Умножить	факторы	Список [float]
Fivecrops	Crop_height Crop_width	инт инт

Псевдонимы

• flip_transform (горизонтальный + вертикальные перевороты)
• hflip_transform (горизонтальный флип)
• D4_Transform (Flips + rowation 0, 90, 180, 270)
• multiscale_transform (преобразование масштаба, возьмите шкалы в качестве входного параметра)
• fif_crop_transform (угловые культуры + центральный урожай)
• ten_crop_transform (пять культур + пять культур на горизонтальном перевороте)

Режимы слияния

• иметь в виду
• Gmean (среднее геометрическое)
• сумма
• максимум
• мин
• Tsharpen (температура затоплена с t = 0,5)

Установка

Pypi:

$ pip install ttach

Источник:

$ pip install git+https://github.com/qubvel/ttach

Запустить тесты

docker build -f Dockerfile.dev -t ttach:dev . && docker run --rm ttach:dev pytest -p no:cacheprovider