piepline

餡餅

基於Pytorch的神經網絡培訓管道。旨在標準化訓練過程和加速實驗。

• 核心約為2K線，由測試覆蓋，您不需要再寫
• 靈活且可自定義的培訓過程
• 檢查點管理和火車過程恢復（源和目標設備獨立）
• 內置（Tensorboard，Matplotlib）或自定義顯示器的指標處理和可視化
• 培訓最佳實踐（例如學習率衰減和硬採礦）
• 指標記錄和比較（DVC兼容）

入門：

文件

|穩定：|最新：|

• 查看那裡的完整文檔
• 閱讀入門指南

請參閱示例

• MNIST分類 -​​ 筆記本，文件，Kaggle內核
• 細分 - 筆記本，文件
• 簡歷培訓過程 - 文件

PIEPLINE簡短概述：

 import torch

from neural_pipeline . builtin . monitors . tensorboard import TensorboardMonitor
from neural_pipeline . monitoring import LogMonitor
from neural_pipeline import DataProducer , TrainConfig , TrainStage ,
    ValidationStage , Trainer , FileStructManager

from somethig import MyNet , MyDataset

fsm = FileStructManager ( base_dir = 'data' , is_continue = False )
model = MyNet (). cuda ()

train_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )
validation_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )

train_config = TrainConfig ( model , [ TrainStage ( train_dataset ),
                                   ValidationStage ( validation_dataset )], torch . nn . NLLLoss (),
                           torch . optim . SGD ( model . parameters (), lr = 1e-4 , momentum = 0.5 ))

trainer = Trainer ( train_config , fsm , torch . device ( 'cuda:0' )). set_epoch_num ( 50 )
trainer . monitor_hub . add_monitor ( TensorboardMonitor ( fsm , is_continue = False ))
                   . add_monitor ( LogMonitor ( fsm ))
trainer . train ()

這個在mydataset上訓練mynet的示例，並在張力流中進行了質量化，並以指標記錄進行進一步的實驗比較。

安裝：

pip install piepline

用於使用安裝的builtin模塊：

pip install tensorboardX matplotlib

在PYPI上發布之前安裝最新版本

pip install -U git+https://github.com/PiePline/piepline