libonnx

---

libonnx

ハードウェアアクセラレーションサポートを備えた組み込みデバイス用の軽量でポータブル純粋なC99 onnx inference engine 。

はじめる

ライブラリの.cおよび.hファイルは、プロジェクトにドロップしてコンパイルできます。使用する前に、 struct onnx_context_t *を割り当てる必要があり、ハードウェアアクセラレーションのためにstruct resolver_t *の配列を渡すことができます。

ファイル名は、 onnxモデルの形式へのパスです。

 struct onnx_context_t * ctx = onnx_context_alloc_from_file ( filename , NULL , 0 );

次に、 onnx_tensor_search関数を使用して入力テンソルと出力テンソルを取得できます。

 struct onnx_tensor_t * input = onnx_tensor_search ( ctx , "input-tensor-name" );
struct onnx_tensor_t * output = onnx_tensor_search ( ctx , "output-tensor-name" );

入力テンソルが設定されている場合、 onnx_run関数を使用して推論エンジンを実行でき、結果が出力テンソルになります。

 onnx_run ( ctx );

最後に、 onnx_context_free関数を使用して、 struct onnx_context_t *を解放する必要があります。

 onnx_context_free ( ctx );

編集手順

ルートディレクトリに作成makeだけで、静的ライブラリと、使用のための例とテストのバイナリが表示されます。

 cd libonnx
make

mnist例をコンパイルするには、SDL2とSDL2 GFXをインストールする必要があります。 Ubuntu Runのようなシステムについて

    apt-get install libsdl2-dev libsdl2-gfx-dev

必要な単純なDirectMediaレイヤーライブラリをインストールして、GUIを実行します。

クロスコンピレーションの例（ arm64の場合）

make CROSS_COMPILE=path/to/toolchains/aarch64-linux-gnu-ルートディレクトリで実行して、プラットフォームのすべてのライブラリ、テスト、および例をコンパイルします。

CROSS_COMPILEを変更して、使用する予定のツールチェーンを指します。

例を実行する方法

すべてのファイルをコンパイルした後、以下を使用して例を実行できます。

 cd libonnx/examples/hello/output
./hello

スクリーンショット

• Mnist手書きの数字予測

実行中のテスト

たとえば、 tests/modelフォルダーの使用に関するテストを実行するには：

 cd libonnx/tests/output
./tests ../model

これが出力です：

[mnist_8](test_data_set_0)                                                              [OKAY]
[mnist_8](test_data_set_1)                                                              [OKAY]
[mnist_8](test_data_set_2)                                                              [OKAY]
[mobilenet_v2_7](test_data_set_0)                                                       [OKAY]
[mobilenet_v2_7](test_data_set_1)                                                       [OKAY]
[mobilenet_v2_7](test_data_set_2)                                                       [OKAY]
[shufflenet_v1_9](test_data_set_0)                                                      [OKAY]
[shufflenet_v1_9](test_data_set_1)                                                      [OKAY]
[shufflenet_v1_9](test_data_set_2)                                                      [OKAY]
[squeezenet_v11_7](test_data_set_0)                                                     [OKAY]
[squeezenet_v11_7](test_data_set_1)                                                     [OKAY]
[squeezenet_v11_7](test_data_set_2)                                                     [OKAY]
[super_resolution_10](test_data_set_0)                                                  [OKAY]
[tinyyolo_v2_8](test_data_set_0)                                                        [OKAY]
[tinyyolo_v2_8](test_data_set_1)                                                        [OKAY]
[tinyyolo_v2_8](test_data_set_2)                                                        [OKAY]

他のフォルダーでテストを実行することは成功しない可能性があることに注意してください。一部のオペレーターは実装されていません。詳細については、メモのセクションをバット見てください。

メモ

• このライブラリは、最新のopset 23サポートを備えたONNXバージョンv1.17.0に基づいています。ドキュメントディレクトリのサポートされているオペレーターテーブル。
• ONNXモデルファイルのヘルプについては、 toolsフォルダーをチェックアウトします。
• xxd -i <filename.onnx> （Linux）を使用して、onnxモデルをunsigned char arrayに変換し、関数onnx_context_allocを使用して使用できます。これは、モデルが例にどのようにロードされているか - helloとmnist 。

リンク

• 中国の議論の投稿
• ONNX演算子のドキュメント
• ONNXモデルを作成するためのチュートリアル
• 事前に訓練されたONNXモデル

ライセンス

このライブラリはフリーソフトウェアです。 MITライセンスの条件に基づいて、それを再配布したり、変更したりできます。詳細については、MITライセンスを参照してください。