PyTorchTricks
1.0.0
non_blocking=False 的建议应该是 non_blocking=True .tar 格式和 IterableDataset 的一种加速数据读取的思路。Note
原始文档:https://www.yuque.com/lart/ugkv9f/ugysgn
声明: 大部分内容来自知乎和其他博客的分享, 这里只作为一个收集罗列. 欢迎给出更多建议.
知乎回答 (欢迎点赞哦):
resize , 事先处理好保存下来, 训练的时候直接拿来用。NVIDIA/DALI。opencv 一般要比 PIL 要快 。
PIL 的惰性加载的策略使得其看上去 open 要比 opencv 的 imread 要快，但是实际上那并没有完全加载数据。可以对 open 返回的对象调用其 load() 方法，从而手动加载数据，这时的速度才是合理的。jpeg 读取, 可以尝试 jpeg4py。bmp 图 (降低解码时间)。对于大规模的小文件读取，可以保存为一个可以连续读取的连续文件格式。可以选择考虑 TFRecord (Tensorflow) , recordIO, hdf5, pth, n5, lmdb等。
TFRecord ：https://github.com/vahidk/tfrecordlmdb 数据库：
Tar文件和IterableDataset的实现预读取下一次迭代需要的数据。使用案例：
--cache。机械硬盘换成 NVME 固态。参考自 如何给你 PyTorch 里的 Dataloader 打鸡血 - MKFMIKU 的文章 - 知乎
在训练中使用低精度 ( FP16 甚至 INT8 、二值网络、三值网络) 表示取代原有精度 ( FP32 ) 表示。
可以节约一定的显存并提速, 但是要小心一些不安全的操作如 mean 和 sum。
NVIDIA/Apex 提供的混合精度支持。
torch.cuda.amp 以支持混合精度。更大的 batch 在固定的 epoch 的情况下往往会带来更短的训练时间。但是大的 batch 面临着超参数的设置、显存占用问题等诸多考量，这又是另一个备受关注的领域了。
torch.backends.cudnn.benchmark = True 可以加速计算。由于计算不同内核大小卷积的 cuDNN 算法的性能不同，自动调优器可以运行一个基准来找到最佳算法。当你的输入大小不经常改变时，建议开启这个设置。如果输入大小经常改变，那么自动调优器就需要太频繁地进行基准测试，这可能会损害性能。它可以将向前和向后传播速度提高 1.27x 到 1.70x。pin_memory=True。num_worker，细节讨论可见 Pytorch 提速指南 - 云梦的文章 - 知乎。set_to_none=True 来降低的内存占用，并且可以适度提高性能。但是这也会改变某些行为，具体可见文档。通过 model.zero_grad() 或 optimizer.zero_grad() 将对所有参数执行 memset，并通过读写操作更新梯度。但是，将梯度设置为 None 将不会执行 memset，并且将使用“只写”操作更新梯度。因此，设置梯度为 None 更快。eval 模式并使用 torch.no_grad 关闭梯度计算。DistributedDataParallel代替DataParallel。对于多 GPU 来说，即使只有单个节点，也总是优先使用 DistributedDataParallel 而不是 DataParallel ，因为 DistributedDataParallel 应用于多进程，并为每个 GPU 创建一个进程，从而绕过 Python 全局解释器锁 (GIL) 并提高速度。forward 是分开的，他不会因为你不去使用，而不去初始化。@torch.jit.script，使用 PyTroch JIT 将逐点运算融合到单个 CUDA kernel 上。PyTorch 优化了维度很大的张量的运算操作。在 PyTorch 中对小张量进行太多的运算操作是非常低效的。所以有可能的话，将计算操作都重写为批次（batch）的形式，可以减少消耗和提高性能。而如果没办法自己手动实现批次的运算操作，那么可以采用 TorchScript 来提升代码的性能。TorchScript 是一个 Python 函数的子集，但经过了 PyTorch 的验证，PyTorch 可以通过其 just in time(jtt) 编译器来自动优化 TorchScript 代码，提高性能。但更好的做法还是手动实现批次的运算操作。del 释放内存占用。torch.from_numpy(ndarray) 或者 torch.as_tensor(data, dtype=None, device=None)，这可以通过共享内存而避免重新申请空间，具体使用细节和注意事项可参考对应文档。如果源设备和目标设备都是 CPU，torch.from_numpy 和 torch.as_tensor 不会拷贝数据。如果源数据是 NumPy 数组，使用 torch.from_numpy 更快。如果源数据是一个具有相同数据类型和设备类型的张量，那么 torch.as_tensor 可以避免拷贝数据，这里的数据可以是 Python 的 list， tuple，或者张量。non_blocking=True。这会在可能的情况下尝试异步转换，例如，将页面锁定内存中的 CPU 张量转换为 CUDA 张量。optimizer.step() 的时间。
contiguous_pytorch_paramsmemory access cost 缩写为 MAC ） 最小, 此时模型速度最快element-wise 操作: element-wise 操作所带来的时间消耗远比在 FLOPs 上的体现的数值要多, 因此要尽可能减少 element-wise 操作。 depthwise convolution 也具有低 FLOPs 、高 MAC 的特点。在推理中使用低精度 ( FP16 甚至 INT8 、二值网络、三值网络) 表示取代原有精度 ( FP32 ) 表示。
TensorRT 是 NVIDIA 提出的神经网络推理 (Inference) 引擎, 支持训练后 8BIT 量化, 它使用基于交叉熵的模型量化算法, 通过最小化两个分布的差异程度来实现Distiller 是 Intel 基于 Pytorch 开源的模型优化工具, 自然也支持 Pytorch 中的量化技术NNI 集成了多种量化感知的训练算法, 并支持 PyTorch/TensorFlow/MXNet/Caffe2 等多个开源框架更多细节可参考 有三 AI:【杂谈】当前模型量化有哪些可用的开源工具?。
profile , cProfile 和 hotshot , 使用方法基本都差不多, 无非模块是纯 Python 还是用 C 写的。原始文档:https://www.yuque.com/lart/ugkv9f/nvffyf
整理自: Pytorch 有什么节省内存 (显存) 的小技巧? - 知乎 https://www.zhihu.com/question/274635237
inplace 的操作尽量启用。比如 relu 可以使用 inplace=True 。batchnorm 和一些特定的激活函数打包成 inplace_abn。每次循环结束时删除 loss, 可以节约很少显存, 但聊胜于无。可见 Tensor to Variable and memory freeing best practices
可以节约一定的显存并提速, 但是要小心一些不安全的操作如 mean 和 sum。
NVIDIA/Apex 提供的混合精度支持。
torch.cuda.amp 以支持混合精度。torch.no_grad 来包裹代码。
model.eval() 不等于 torch.no_grad() , 请看如下讨论: 'model.eval()' vs 'with torch.no_grad()'requires_grad 设为 False, 让变量不参与梯度的后向传播，以减少不必要的梯度的显存占用。torch.cuda.empty_cache() 这是 del 的进阶版, 使用 nvidia-smi 会发现显存有明显的变化. 但是训练时最大的显存占用似乎没变. 大家可以试试: How can we release GPU memory cache?del 删除不必要的中间变量, 或者使用 replacing variables 的形式来减少占用.把一个 batchsize=64 分为两个 32 的 batch，两次 forward 以后，backward 一次。但会影响 batchnorm 等和 batchsize 相关的层。
在 PyTorch 的文档 中提到了梯度累加与混合精度并用的例子。
使用梯度累加技术可以对分布式训练加速，这可以参考：[原创][深度][PyTorch] DDP 系列第三篇：实战与技巧 - 996 黄金一代的文章 - 知乎
PyTorch 中提供了 torch.utils.checkpoint。这是通过在反向传播期间，在每个检查点位置重新执行一次前向传播来实现的。
论文 Training Deep Nets with Sublinear Memory Cost 基于梯度检查点技术，将显存从 O(N) 降到了 O(sqrt(N))。对于越深的模型, 这个方法省的显存就越多, 且速度不会明显变慢。
可关注文档中 相关章节。
避免使用非确定性算法。
PyTorch 中，torch.use_deterministic_algorithms() 可以强制使用确定性算法而不是非确定性算法，并且如果已知操作是非确定性的（并且没有确定性的替代方案），则会抛出错误。
def seed_torch(seed=1029):
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True
seed_torch()参考自https://www.zdaiot.com/MLFrameworks/Pytorch/Pytorch%E9%9A%8F%E6%9C%BA%E7%A7%8D%E5%AD%90/
具体细节可见 可能 95%的人还在犯的 PyTorch 错误 - serendipity 的文章 - 知乎
解决方法可参考 文档：
def seed_worker(worker_id):
worker_seed = torch.initial_seed() % 2**32
numpy.random.seed(worker_seed)
random.seed(worker_seed)
DataLoader(..., worker_init_fn=seed_worker)
