ttach

Ttach

Aumentação do tempo de teste da imagem com Pytorch!

Semelhante ao aumento de dados está fazendo com o conjunto de treinamento, o objetivo do aumento do tempo de teste é executar modificações aleatórias nas imagens de teste. Assim, em vez de mostrar as imagens regulares e "limpas", apenas uma vez ao modelo treinado, mostraremos as imagens aumentadas várias vezes. Em seguida, calculamos a média das previsões de cada imagem correspondente e a consideraremos como nosso palpite final [1].

           Input
             |           # input batch of images 
        / / /|        # apply augmentations (flips, rotation, scale, etc.)
       | | | | | | |     # pass augmented batches through model
       | | | | | | |     # reverse transformations for each batch of masks/labels
           / / /      # merge predictions (mean, max, gmean, etc.)
             |           # output batch of masks/labels
           Output

Índice

1. Início rápido
2. Transforma
3. Aliases
4. Modos de mesclagem
5. Instalação

Início rápido

Modelo de segmentação embrulhada [Docstring]:

 import ttach as tta
tta_model = tta . SegmentationTTAWrapper ( model , tta . aliases . d4_transform (), merge_mode = 'mean' )

Modelo de classificação embrulhada [Docstring]:

 tta_model = tta . ClassificationTTAWrapper ( model , tta . aliases . five_crop_transform ())

Modelo de pontos de chave de embalagem [Docstring]:

 tta_model = tta . KeypointsTTAWrapper ( model , tta . aliases . flip_transform (), scaled = True )

NOTA : O modelo deve retornar pontos -chave na torch([x1, y1, ..., xn, yn])

Exemplos avançados

Transformação personalizada:

 # defined 2 * 2 * 3 * 3 = 36 augmentations !
transforms = tta . Compose (
    [
        tta . HorizontalFlip (),
        tta . Rotate90 ( angles = [ 0 , 180 ]),
        tta . Scale ( scales = [ 1 , 2 , 4 ]),
        tta . Multiply ( factors = [ 0.9 , 1 , 1.1 ]),        
    ]
)

tta_model = tta . SegmentationTTAWrapper ( model , transforms )

Modelo Custom (Multi-Input / Multi-Output)

 # Example how to process ONE batch on images with TTA
# Here `image`/`mask` are 4D tensors (B, C, H, W), `label` is 2D tensor (B, N)

for transformer in transforms : # custom transforms or e.g. tta.aliases.d4_transform() 
    
    # augment image
    augmented_image = transformer . augment_image ( image )
    
    # pass to model
    model_output = model ( augmented_image , another_input_data )
    
    # reverse augmentation for mask and label
    deaug_mask = transformer . deaugment_mask ( model_output [ 'mask' ])
    deaug_label = transformer . deaugment_label ( model_output [ 'label' ])
    
    # save results
    labels . append ( deaug_mask )
    masks . append ( deaug_label )
    
# reduce results as you want, e.g mean/max/min
label = mean ( labels )
mask = mean ( masks )

Transforma

Transformar	Parâmetros	Valores
Horizontalflip	-	-
Verticalflip	-	-
Girar90	ângulos	Lista [0, 90, 180, 270]
Escala	escalas interpolação	Lista [Float] "mais próximo"/"linear"
Redimensionar	tamanhos original_size interpolação	Lista [tupla [int, int]] Tupla [int, int] "mais próximo"/"linear"
Adicionar	valores	Lista [Float]
Multiplicar	fatores	Lista [Float]
FiveCrops	Crop_Height Crop_width	int int

Aliases

• flip_transform (horizontal + flips verticais)
• hflip_transform (flip horizontal)
• D4_Transform (flips + rotação 0, 90, 180, 270)
• MultisCale_transform (transformação da escala, pegue escalas como parâmetro de entrada)
• Five_crop_transform (colheita de canto + colheita central)
• ten_crop_transform (cinco culturas + cinco culturas no flip horizontal)

Modos de mesclagem

• significar
• Gmean (média geométrica)
• soma
• máx
• min
• tsharpen (temperatura afiada com t = 0,5)

Instalação

Pypi:

$ pip install ttach

Fonte:

$ pip install git+https://github.com/qubvel/ttach

Executar testes

docker build -f Dockerfile.dev -t ttach:dev . && docker run --rm ttach:dev pytest -p no:cacheprovider