piepline

馅饼

基于Pytorch的神经网络培训管道。旨在标准化训练过程和加速实验。

• 核心约为2K线，由测试覆盖，您不需要再写
• 灵活且可自定义的培训过程
• 检查点管理和火车过程恢复（源和目标设备独立）
• 内置（Tensorboard，Matplotlib）或自定义显示器的指标处理和可视化
• 培训最佳实践（例如学习率衰减和硬采矿）
• 指标记录和比较（DVC兼容）

入门：

文档

|稳定：|最新：|

• 查看那里的完整文档
• 阅读入门指南

请参阅示例

• MNIST分类 - 笔记本，文件，Kaggle内核
• 细分 - 笔记本，文件
• 简历培训过程 - 文件

PIEPLINE简短概述：

 import torch

from neural_pipeline . builtin . monitors . tensorboard import TensorboardMonitor
from neural_pipeline . monitoring import LogMonitor
from neural_pipeline import DataProducer , TrainConfig , TrainStage ,
    ValidationStage , Trainer , FileStructManager

from somethig import MyNet , MyDataset

fsm = FileStructManager ( base_dir = 'data' , is_continue = False )
model = MyNet (). cuda ()

train_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )
validation_dataset = DataProducer ([ MyDataset ()], batch_size = 4 , num_workers = 2 )

train_config = TrainConfig ( model , [ TrainStage ( train_dataset ),
                                   ValidationStage ( validation_dataset )], torch . nn . NLLLoss (),
                           torch . optim . SGD ( model . parameters (), lr = 1e-4 , momentum = 0.5 ))

trainer = Trainer ( train_config , fsm , torch . device ( 'cuda:0' )). set_epoch_num ( 50 )
trainer . monitor_hub . add_monitor ( TensorboardMonitor ( fsm , is_continue = False ))
                   . add_monitor ( LogMonitor ( fsm ))
trainer . train ()

这个在mydataset上训练mynet的示例，并在张力流中进行了质量化，并以指标记录进行进一步的实验比较。

安装：

pip install piepline

用于使用安装的builtin模块：

pip install tensorboardX matplotlib

在PYPI上发布之前安装最新版本

pip install -U git+https://github.com/PiePline/piepline