piepline

Piepline

Schulungspipeline für neuronale Netzwerke basierend auf Pytorch. Entwickelt, um den Trainingsprozess zu standardisieren und Experimente zu beschleunigen.

• Der Kern ist ungefähr 2K -Linien, die durch Tests abgedeckt sind, die Sie nicht wieder schreiben müssen
• Flexibler und anpassbarer Schulungsprozess
• Checkpoints Management und Zugprozessaufnahme (Quell- und Zielgeräteunabhängige)
• Metrikenverarbeitung und Visualisierung durch integrierte (Tensorboard, Matplotlib) oder benutzerdefinierte Monitore
• Training Best Practices (z.
• Protokollierung und Vergleich von Metriken (DVC -kompatibel)

Erste Schritte:

Dokumentation

| Stabil: | Neueste: |

• Sehen Sie sich die vollständige Dokumentation dort an
• Lesen Sie Erste Anleitung

Siehe die Beispiele

• MNIST -Klassifizierung - Notizbuch, Datei, Kaggle -Kernel
• Segmentierung - Notizbuch, Datei
• Schulungsprozess wieder aufnehmen - Datei

Piepline Kurzübersicht:

 import torch

from neural_pipeline . builtin . monitors . tensorboard import TensorboardMonitor
from neural_pipeline . monitoring import LogMonitor
from neural_pipeline import DataProducer , TrainConfig , TrainStage ,
    ValidationStage , Trainer , FileStructManager

from somethig import MyNet , MyDataset

fsm = FileStructManager ( base_dir = 'data' , is_continue = False )
model = MyNet (). cuda ()

train_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )
validation_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )

train_config = TrainConfig ( model , [ TrainStage ( train_dataset ),
                                   ValidationStage ( validation_dataset )], torch . nn . NLLLoss (),
                           torch . optim . SGD ( model . parameters (), lr = 1e-4 , momentum = 0.5 ))

trainer = Trainer ( train_config , fsm , torch . device ( 'cuda:0' )). set_epoch_num ( 50 )
trainer . monitor_hub . add_monitor ( TensorboardMonitor ( fsm , is_continue = False ))
                   . add_monitor ( LogMonitor ( fsm ))
trainer . train ()

Dieses Beispiel für das Training von MyNet in MyDataset mit Vizualisierung im Tensorflow und mit Metriken, die für den weiteren Experimentenvergleich angemeldet sind.

Installation:

pip install piepline

Für das builtin Modul mit Installation:

pip install tensorboardX matplotlib

Installieren Sie die neueste Version, bevor sie auf PYPI veröffentlicht wurde

pip install -U git+https://github.com/PiePline/piepline