ttach

ttach

图像测试时间增加与Pytorch！

类似于增强对培训集的数据，测试时间增加的目的是对测试图像进行随机修改。因此，我们将多次向其展示增强图像，而不是向训练有素的模型显示常规的“干净”图像，而是只向训练有素的模型显示一次。然后，我们将平均每个相应图像的预测，并将其作为我们的最终猜测[1]。

           Input
             |           # input batch of images 
        / / /|        # apply augmentations (flips, rotation, scale, etc.)
       | | | | | | |     # pass augmented batches through model
       | | | | | | |     # reverse transformations for each batch of masks/labels
           / / /      # merge predictions (mean, max, gmean, etc.)
             |           # output batch of masks/labels
           Output

目录

1. 快速开始
2. 变换
3. 别名
4. 合并模式
5. 安装

快速开始

细分模型包装[DOCSTRING]：

 import ttach as tta
tta_model = tta . SegmentationTTAWrapper ( model , tta . aliases . d4_transform (), merge_mode = 'mean' )

分类模型包装[DOCSTRING]：

 tta_model = tta . ClassificationTTAWrapper ( model , tta . aliases . five_crop_transform ())

Kepoints模型包装[DOCSTRING]：

 tta_model = tta . KeypointsTTAWrapper ( model , tta . aliases . flip_transform (), scaled = True )

注意：该模型必须返回格式torch([x1, y1, ..., xn, yn])

高级示例

自定义转换：

 # defined 2 * 2 * 3 * 3 = 36 augmentations !
transforms = tta . Compose (
    [
        tta . HorizontalFlip (),
        tta . Rotate90 ( angles = [ 0 , 180 ]),
        tta . Scale ( scales = [ 1 , 2 , 4 ]),
        tta . Multiply ( factors = [ 0.9 , 1 , 1.1 ]),        
    ]
)

tta_model = tta . SegmentationTTAWrapper ( model , transforms )

自定义模型（多输入 /多输出）

 # Example how to process ONE batch on images with TTA
# Here `image`/`mask` are 4D tensors (B, C, H, W), `label` is 2D tensor (B, N)

for transformer in transforms : # custom transforms or e.g. tta.aliases.d4_transform() 
    
    # augment image
    augmented_image = transformer . augment_image ( image )
    
    # pass to model
    model_output = model ( augmented_image , another_input_data )
    
    # reverse augmentation for mask and label
    deaug_mask = transformer . deaugment_mask ( model_output [ 'mask' ])
    deaug_label = transformer . deaugment_label ( model_output [ 'label' ])
    
    # save results
    labels . append ( deaug_mask )
    masks . append ( deaug_label )
    
# reduce results as you want, e.g mean/max/min
label = mean ( labels )
mask = mean ( masks )

变换

转换	参数	值
水平流体	-	-
垂直流动	-	-
旋转90	角度	列表[0，90，180，270]
规模	秤 插值	列表[float] “最近”/“线性”
调整大小	尺寸 原始_size 插值	列表[元组[INT，INT]] 元组[int，int] “最近”/“线性”
添加	值	列表[float]
乘	因素	列表[float]
Fivecrops	crop_height crop_width	int int

别名

• flip_transform（水平 +垂直翻转）
• HFLIP_TRANSFORM（水平翻转）
• d4_transform（翻转 +旋转0、90、180、270）
• Multiscale_transform（比例变换，将秤作为输入参数）
• 五_CROP_TRANSFORM（角农作物 +中心作物）
• ten_crop_transform（五种农作物 +水平翻转上的五种农作物）

合并模式

• 意思是
• gmean（几何平均值）
• 和
• 最大限度
• 最小
• tsharpen（温度升高，t = 0.5）

安装

PYPI：

$ pip install ttach

来源：

$ pip install git+https://github.com/qubvel/ttach

运行测试

docker build -f Dockerfile.dev -t ttach:dev . && docker run --rm ttach:dev pytest -p no:cacheprovider