ttach

ttach

圖像測試時間增加與Pytorch！

類似於增強對培訓集的數據，測試時間增加的目的是對測試圖像進行隨機修改。因此，我們將多次向其展示增強圖像，而不是向訓練有素的模型顯示常規的“乾淨”圖像，而是只向訓練有素的模型顯示一次。然後，我們將平均每個相應圖像的預測，並將其作為我們的最終猜測[1]。

           Input
             |           # input batch of images 
        / / /|        # apply augmentations (flips, rotation, scale, etc.)
       | | | | | | |     # pass augmented batches through model
       | | | | | | |     # reverse transformations for each batch of masks/labels
           / / /      # merge predictions (mean, max, gmean, etc.)
             |           # output batch of masks/labels
           Output

目錄

1. 快速開始
2. 變換
3. 別名
4. 合併模式
5. 安裝

快速開始

細分模型包裝[DOCSTRING]：

 import ttach as tta
tta_model = tta . SegmentationTTAWrapper ( model , tta . aliases . d4_transform (), merge_mode = 'mean' )

分類模型包裝[DOCSTRING]：

 tta_model = tta . ClassificationTTAWrapper ( model , tta . aliases . five_crop_transform ())

Kepoints模型包裝[DOCSTRING]：

 tta_model = tta . KeypointsTTAWrapper ( model , tta . aliases . flip_transform (), scaled = True )

注意：該模型必須返回格式torch([x1, y1, ..., xn, yn])

高級示例

自定義轉換：

 # defined 2 * 2 * 3 * 3 = 36 augmentations !
transforms = tta . Compose (
    [
        tta . HorizontalFlip (),
        tta . Rotate90 ( angles = [ 0 , 180 ]),
        tta . Scale ( scales = [ 1 , 2 , 4 ]),
        tta . Multiply ( factors = [ 0.9 , 1 , 1.1 ]),        
    ]
)

tta_model = tta . SegmentationTTAWrapper ( model , transforms )

自定義模型（多輸入 /多輸出）

 # Example how to process ONE batch on images with TTA
# Here `image`/`mask` are 4D tensors (B, C, H, W), `label` is 2D tensor (B, N)

for transformer in transforms : # custom transforms or e.g. tta.aliases.d4_transform() 
    
    # augment image
    augmented_image = transformer . augment_image ( image )
    
    # pass to model
    model_output = model ( augmented_image , another_input_data )
    
    # reverse augmentation for mask and label
    deaug_mask = transformer . deaugment_mask ( model_output [ 'mask' ])
    deaug_label = transformer . deaugment_label ( model_output [ 'label' ])
    
    # save results
    labels . append ( deaug_mask )
    masks . append ( deaug_label )
    
# reduce results as you want, e.g mean/max/min
label = mean ( labels )
mask = mean ( masks )

變換

轉換	參數	值
水平流體	-	-
垂直流動	-	-
旋轉90	角度	列表[0，90，180，270]
規模	秤 插值	列表[float] “最近”/“線性”
調整大小	尺寸 原始_size 插值	列表[元組[INT，INT]] 元組[int，int] “最近”/“線性”
添加	值	列表[float]
乘	因素	列表[float]
Fivecrops	crop_height crop_width	int int

別名

• flip_transform（水平 +垂直翻轉）
• HFLIP_TRANSFORM（水平翻轉）
• d4_transform（翻轉 +旋轉0、90、180、270）
• Multiscale_transform（比例變換，將秤作為輸入參數）
• 五_CROP_TRANSFORM（角農作物 +中心作物）
• ten_crop_transform（五種農作物 +水平翻轉上的五種農作物）

合併模式

• 意思是
• gmean（幾何平均值）
• 和
• 最大限度
• 最小
• tsharpen（溫度升高，t = 0.5）

安裝

PYPI：

$ pip install ttach

來源：

$ pip install git+https://github.com/qubvel/ttach

運行測試

docker build -f Dockerfile.dev -t ttach:dev . && docker run --rm ttach:dev pytest -p no:cacheprovider