pg_onnx

PG_ONNX

• ONNX：オープンニューラルネットワーク交換
• PostgreSQLと統合されたONNXランタイム。データベース内のデータを使用してML推論を実行します。
• PostgreSQLは、すべての新しいクライアントが接続するプロセスを作成します。すべてのプロセスがONNX推論を実行した場合、システムとGPUはメモリがなくなってしまいます。 PG_ONNXは、 onnxruntime-serverをバックグラウンドワーカーとして実行し、ONNXファイルごとに1つのONNXランタイムセッションを作成およびリサイクルします。

グラフlr
    サブグラフp [postgresql]
        方向LR
        PM（（ポストマスター））
        ps1 [postgres]
        ps2 [postgres]
        ps3 [postgres]
        表[（onnxモデルデータ）]
        subgraph onnx [PG_ONNXバックグラウンドワーカー]
            方向TB
            os [onnxruntime-server]
            onnx1（[onnxruntime  nsession： nmodel1]）
            onnx2（[onnxruntime  nsession： nmodel2]）
            OS-。 「セッションの作成/実行」。-O onnx1＆onnx2
        終わり
        PM-。 「フォーク」。-O PS1＆PS2＆PS3
        PM-。 「ダイナミックバックグラウンドワーカー」。-O ONNX
        PS3 < -  "インポートモデル"  - >テーブル
        ps1＆ps2＆ps3 < -  "onnx操作"  - > onnx
    終わり
    C [PG_ONNXを使用しようとするクライアント] ==> PS3

---

• PG_ONNXを構築します
  • 要件
  • onnxランタイムをインストールします
  • 依存関係をインストールします
  • コンパイルしてインストールします
• 使い方
  • 拡張機能をインストールします
  • 簡単な使用
  • トリガーで推論結果を使用します
• 関数
  • ONNXモデル関数
    • pg_onnx_import_model（テキスト、テキスト、bytea、jsonb、テキスト）
    • pg_onnx_drop_model（テキスト、テキスト）
    • pg_onnx_list_model（）
    • pg_onnx_inspect_model_bin（bytea）
  • ONNXセッション関数
    • pg_onnx_create_session（テキスト、テキスト）
    • pg_onnx_describe_session（テキスト、テキスト）
    • PG_ONNX_EXECUTE_SESSION（TEXT、TEXT、JSONB）
    • PG_ONNX_DESTROY_SESSION（TEXT、TEXT、JSONB）
    • pg_onnx_list_session（）

---

PG_ONNXを構築します

要件

• postgreSql
• onnxランタイム
• ブースト
• cmake
• cuda（オプション、nvidia gpuサポートのため）

---

onnxランタイムをインストールします

Linux

• download-onnxruntime-linux.shスクリプトを使用してください
  • このスクリプトは、最新バージョンのバイナリをダウンロードし、 /usr/local/onnxruntimeにインストールします。
  • また、 /usr/local/onnxruntime/libを/etc/ld.so.conf.d/onnxruntime.confに追加し、 ldconfigを実行します。
• または、ONNXランタイムリリースからバイナリを手動でダウンロードします。

Mac OS

brew install onnxruntime

---

依存関係をインストールします

ubuntu/debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

（オプション）CUDAサポート（CUDA 12.x、Cudnn 9.x）

• 以下の指示に従って、CUDA ToolkitとCudnnをインストールしてください。
  • CUDAツールキットインストールガイド
  • ubuntuのcudaダウンロード

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

コンパイルしてインストールします

gitクローン

• サブモジュールでリポジトリをクローンします。
  • ONNXランタイムサーバーはサブモジュールとして含まれています。
  • 既にリポジトリをクローニングしている場合は、 git submodule update --init --recursive 。

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

使い方

拡張機能をインストールします

CREATE EXTENSION IF NOT EXISTS pg_onnx;

簡単な使用

• ONNXファイルをインポートし、推論結果を取得します。

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• MLモデルの入力と出力のタイプと形状に応じて、さまざまな結果を見ることができます。以下は結果の例です。

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

トリガーで推論結果を使用します

• データが追加されたら、前の挿入トリガーを使用して、ML推論結果を使用していくつかの列を更新します。
• MLモデルに応じて、これはパフォーマンスに大きな影響を与える可能性があるため、使用する場合は注意してください。
• 例

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

関数

• ONNXファイルをインポートし、実行および管理するためのいくつかの機能を提供します。
• ONNXモデル関数
  • pg_onnx_import_model（テキスト、テキスト、bytea、jsonb、テキスト）
  • pg_onnx_drop_model（テキスト、テキスト）
  • pg_onnx_list_model（）
  • pg_onnx_inspect_model_bin（bytea）
• ONNXセッション関数
  • pg_onnx_create_session（テキスト、テキスト）
  • pg_onnx_describe_session（テキスト、テキスト）
  • PG_ONNX_EXECUTE_SESSION（TEXT、TEXT、JSONB）
  • PG_ONNX_DESTROY_SESSION（TEXT、TEXT、JSONB）
  • pg_onnx_list_session（）