ttach

ttach

Pytorchでの画像テスト時間の増強！

データ増強がトレーニングセットに行っていることと同様に、テスト時間の増強の目的は、テスト画像をランダムな変更を実行することです。したがって、通常の「クリーン」画像を訓練されたモデルに1回だけ表示する代わりに、拡張画像を数回表示します。次に、対応する各画像の予測を平均して、最終的な推測[1]として受け取ります。

           Input
             |           # input batch of images 
        / / /|        # apply augmentations (flips, rotation, scale, etc.)
       | | | | | | |     # pass augmented batches through model
       | | | | | | |     # reverse transformations for each batch of masks/labels
           / / /      # merge predictions (mean, max, gmean, etc.)
             |           # output batch of masks/labels
           Output

目次

1. クイックスタート
2. 変換
3. エイリアス
4. モードをマージします
5. インストール

クイックスタート

セグメンテーションモデルラッピング[docstring]：

 import ttach as tta
tta_model = tta . SegmentationTTAWrapper ( model , tta . aliases . d4_transform (), merge_mode = 'mean' )

分類モデルラッピング[docstring]：

 tta_model = tta . ClassificationTTAWrapper ( model , tta . aliases . five_crop_transform ())

キーポイントモデルラッピング[docstring]：

 tta_model = tta . KeypointsTTAWrapper ( model , tta . aliases . flip_transform (), scaled = True )

注：モデルはキーポイントをフォーマットtorch([x1, y1, ..., xn, yn])で返す必要があります。

高度な例

カスタム変換：

 # defined 2 * 2 * 3 * 3 = 36 augmentations !
transforms = tta . Compose (
    [
        tta . HorizontalFlip (),
        tta . Rotate90 ( angles = [ 0 , 180 ]),
        tta . Scale ( scales = [ 1 , 2 , 4 ]),
        tta . Multiply ( factors = [ 0.9 , 1 , 1.1 ]),        
    ]
)

tta_model = tta . SegmentationTTAWrapper ( model , transforms )

カスタムモデル（マルチ入力 /マルチアウトプット）

 # Example how to process ONE batch on images with TTA
# Here `image`/`mask` are 4D tensors (B, C, H, W), `label` is 2D tensor (B, N)

for transformer in transforms : # custom transforms or e.g. tta.aliases.d4_transform() 
    
    # augment image
    augmented_image = transformer . augment_image ( image )
    
    # pass to model
    model_output = model ( augmented_image , another_input_data )
    
    # reverse augmentation for mask and label
    deaug_mask = transformer . deaugment_mask ( model_output [ 'mask' ])
    deaug_label = transformer . deaugment_label ( model_output [ 'label' ])
    
    # save results
    labels . append ( deaug_mask )
    masks . append ( deaug_label )
    
# reduce results as you want, e.g mean/max/min
label = mean ( labels )
mask = mean ( masks )

変換

変身	パラメーター	値
horizontalflip	-	-
VerticalFlip	-	-
Rotate90	角度	リスト[0、90、180、270]
規模	スケール 補間	リスト[フロート] 「最も近い」/「線形」
サイズ	サイズ original_size 補間	リスト[tuple [int、int]] Tuple [int、int] 「最も近い」/「線形」
追加	値	リスト[フロート]
乗算します	要因	リスト[フロート]
fivecrops	crop_height crop_width	int int

エイリアス

• flip_transform（水平 +垂直フリップ）
• hflip_transform（水平フリップ）
• d4_transform（フリップ +回転0、90、180、270）
• multiscale_transform（スケール変換、入力パラメーターとしてスケールを取る）
• Five_crop_transform（コーナー作物 +センタークロップ）
• ten_crop_transform（5つの作物 +水平フリップ上の5つの作物）

モードをマージします

• 平均
• Gmean（幾何平均）
• 和
• マックス
• 分
• Tsharpen（t = 0.5で温度が削る）

インストール

Pypi：

$ pip install ttach

ソース：

$ pip install git+https://github.com/qubvel/ttach

テストを実行します

docker build -f Dockerfile.dev -t ttach:dev . && docker run --rm ttach:dev pytest -p no:cacheprovider