NN CUDA Example

Exemple de réseau neural cuda

Plusieurs exemples simples pour les boîtes à outils de réseau neuronal (Pytorch, TensorFlow, etc.) appelant les opérateurs CUDA personnalisés.

Nous fournissons plusieurs façons de compiler les noyaux Cuda et leurs emballages CPP, notamment JIT, Settuptools et Cmake.

Nous fournissons également plusieurs codes Python pour appeler les grains Cuda, y compris les statistiques du temps du noyau et la formation des modèles.

Pour des statistiques de temps plus précises, vous utiliseriez mieux NVPROF ou NSYS pour exécuter le code.

Environnements

• Nvidia Driver: 418.116.00
• Cuda: 11.0
• Python: 3.7.3
• Pytorch: 1.7.0 + CU110
• TensorFlow: 2.4.1
• CMake: 3.16.3
• Ninja: 1.10.0
• GCC: 8.3.0

Ne peut pas garantir une course réussie dans d'autres environnements.

Structure de code

├── include
│   └── add2.h # header file of add2 cuda kernel
├── kernel
│   └── add2_kernel.cu # add2 cuda kernel
├── pytorch
│   ├── add2_ops.cpp # torch wrapper of add2 cuda kernel
│   ├── time.py # time comparison of cuda kernel and torch
│   ├── train.py # training using custom cuda kernel
│   ├── setup.py
│   └── CMakeLists.txt
├── tensorflow
│   ├── add2_ops.cpp # tensorflow wrapper of add2 cuda kernel
│   ├── time.py # time comparison of cuda kernel and tensorflow
│   ├── train.py # training using custom cuda kernel
│   └── CMakeLists.txt
├── LICENSE
└── README.md

Pytorch

Compiler CPP et CUDA

Jit
Exécutez directement le code Python.

Sétuptools

python3 pytorch/setup.py install

Cmake

mkdir build
cd build
cmake ../pytorch
make

Courir python

Comparez le temps d'exécution du noyau

python3 pytorch/time.py --compiler jit
python3 pytorch/time.py --compiler setup
python3 pytorch/time.py --compiler cmake

Modèle de train

python3 pytorch/train.py --compiler jit
python3 pytorch/train.py --compiler setup
python3 pytorch/train.py --compiler cmake

Tensorflow

Compiler CPP et CUDA

Cmake

mkdir build
cd build
cmake ../tensorflow
make

Courir python

Comparez le temps d'exécution du noyau

python3 tensorflow/time.py --compiler cmake

Modèle de train

python3 tensorflow/train.py --compiler cmake

Détails de la mise en œuvre (en chinois)

Pytorch 自定义 Cuda 算子教程与运行时间分析 详解 Pytorch 编译并调用自定义 Cuda 算子的三种方式 三分钟教你如何 Pytorch 自定义反向传播

FAQ

Q. Importorror: libc10.so: Impossible d'ouvrir le fichier d'objet partagé: aucun fichier ou répertoire de ce type
A. Vous devez faire import torch avant import add2 .

Q. tensorflow.python.framework.errors_impl.notfounderror: build / libadd2.so: symbole non défini: _ztin10tensorflow8opkernele
A. Vérifiez si ${TF_LFLAGS} dans CmakeLists.txt est correct.