piepline

Piepline

Pipeline de treinamento de redes neurais com base em Pytorch. Projetado para padronizar o processo de treinamento e acelerar experimentos.

• Núcleo tem cerca de 2k linhas, cobertas por testes, que você não precisa escrever novamente
• Processo de treinamento flexível e personalizável
• Pontos de verificação Gerenciamento e processo de retenção do processo (Independente do dispositivo de origem e de destino)
• Processamento e visualização de métricas por buildin (Tensorboard, Matplotlib) ou monitores personalizados
• Melhores práticas de treinamento (por exemplo, decaimento da taxa de aprendizagem e mineração negativa dura)
• Métricas de registro e comparação (compatível com DVC)

Começando:

Documentação

| Estável: | Mais recente: |

• Veja a documentação completa lá
• Leia o guia de início

Veja os exemplos

• CLASSIFICAÇÃO MNIST - Notebook, arquivo, kaggle kernel
• Segmentação - Notebook, arquivo
• Retomar o processo de treinamento - arquivo

Visão geral curta do piepline:

 import torch

from neural_pipeline . builtin . monitors . tensorboard import TensorboardMonitor
from neural_pipeline . monitoring import LogMonitor
from neural_pipeline import DataProducer , TrainConfig , TrainStage ,
    ValidationStage , Trainer , FileStructManager

from somethig import MyNet , MyDataset

fsm = FileStructManager ( base_dir = 'data' , is_continue = False )
model = MyNet (). cuda ()

train_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )
validation_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )

train_config = TrainConfig ( model , [ TrainStage ( train_dataset ),
                                   ValidationStage ( validation_dataset )], torch . nn . NLLLoss (),
                           torch . optim . SGD ( model . parameters (), lr = 1e-4 , momentum = 0.5 ))

trainer = Trainer ( train_config , fsm , torch . device ( 'cuda:0' )). set_epoch_num ( 50 )
trainer . monitor_hub . add_monitor ( TensorboardMonitor ( fsm , is_continue = False ))
                   . add_monitor ( LogMonitor ( fsm ))
trainer . train ()

Este exemplo de treinamento do MyNet no MyDataset com vizualização no Tensorflow e com o log de métricas para comparação adicional de experimentos.

Instalação:

pip install piepline

Para módulo builtin usando instalação:

pip install tensorboardX matplotlib

Instale a versão mais recente antes de ser publicada no Pypi

pip install -U git+https://github.com/PiePline/piepline