NN CUDA Example

ニューラルネットワークCUDAの例

カスタムCUDAオペレーターを呼び出すニューラルネットワークツールキット（Pytorch、Tensorflowなど）のいくつかの簡単な例。

JIT、SetUptools、Cmakeなど、CudaカーネルとそのCPPラッパーをコンパイルするいくつかの方法を提供します。

また、カーネルの時間統計やモデルトレーニングなど、Cudaカーネルを呼び出すためのいくつかのPythonコードも提供しています。

より正確な時間統計については、コードを実行するためにNVPROFまたはNSYSを使用するのが最適です。

環境

• Nvidiaドライバー：418.116.00
• CUDA：11.0
• Python：3.7.3
• Pytorch：1.7.0+Cu110
• Tensorflow：2.4.1
• cmake：3.16.3
• 忍者：1.10.0
• GCC：8.3.0

他の環境での実行を成功させることはできません。

コード構造

├── include
│   └── add2.h # header file of add2 cuda kernel
├── kernel
│   └── add2_kernel.cu # add2 cuda kernel
├── pytorch
│   ├── add2_ops.cpp # torch wrapper of add2 cuda kernel
│   ├── time.py # time comparison of cuda kernel and torch
│   ├── train.py # training using custom cuda kernel
│   ├── setup.py
│   └── CMakeLists.txt
├── tensorflow
│   ├── add2_ops.cpp # tensorflow wrapper of add2 cuda kernel
│   ├── time.py # time comparison of cuda kernel and tensorflow
│   ├── train.py # training using custom cuda kernel
│   └── CMakeLists.txt
├── LICENSE
└── README.md

Pytorch

CPPとCUDAをコンパイルします

jit
Pythonコードを直接実行します。

setuptools

python3 pytorch/setup.py install

cmake

mkdir build
cd build
cmake ../pytorch
make

Pythonを実行します

カーネルの実行時間を比較します

python3 pytorch/time.py --compiler jit
python3 pytorch/time.py --compiler setup
python3 pytorch/time.py --compiler cmake

列車モデル

python3 pytorch/train.py --compiler jit
python3 pytorch/train.py --compiler setup
python3 pytorch/train.py --compiler cmake

Tensorflow

CPPとCUDAをコンパイルします

cmake

mkdir build
cd build
cmake ../tensorflow
make

Pythonを実行します

カーネルの実行時間を比較します

python3 tensorflow/time.py --compiler cmake

列車モデル

python3 tensorflow/train.py --compiler cmake

実装の詳細（中国語）

pytorch自定义cuda

よくある質問

Q. ImporterRor：LIBC10.SO：共有オブジェクトファイルを開くことができません：そのようなファイルやディレクトリはありません
A. import add2前に、 import torchする必要があります。

Q. tensorflow.python.framework.errors_impl.notfounderror：build/libadd2.so：未定義のシンボル：_ztin10tensorflow8opkernele
A. CmakeLists.txtの${TF_LFLAGS}が正しいかどうかを確認します。