pg_onnx

pg_onnx

• ONNX：開放神經網絡交換
• 與PostgreSQL集成的ONNX運行時。使用數據庫中的數據執行ML推斷。
• PostgreSQL創建每個新客戶端連接的過程。如果每個過程都在ONNX推理上進行了，則係統和GPU將用盡內存。 PG_ONNX作為背景工作者運行OnnxRuntime-Server ，並創建並回收一個ONNX文件的一個ONNX運行時會話。

圖LR
    子圖P [PostgreSQL]
        方向LR
        PM（（郵政局長））
        PS1 [Postgres]
        PS2 [Postgres]
        PS3 [Postgres]
        表[（ONNX模型數據）]
        子圖onnx [pg_onnx背景工人]
            方向tb
            操作系統[OnnxRuntime-Server]
            onnx1（[[onnxruntime  nsession： nmodel1]）
            onnx2（[[onnxruntime  nsession： nmodel2]）
            OS-。 “創建/執行會話”。 -o onnx1＆onnx2
        結尾
        下午 - 。 “叉”。 -o ps1＆ps2＆ps3
        下午 - 。 “動態背景工人”。 -o onnx
        ps3 < - “導入模型”  - >表
        PS1和PS2和PS3 < - “ ONNX操作”  - > onnx
    結尾
    C [嘗試使用PG_ONNX的客戶端] ==> PS3

---

• 構建PG_ONNX
  • 要求
  • 安裝ONNX運行時
  • 安裝依賴項
  • 編譯並安裝
• 如何使用
  • 安裝擴展
  • 簡單用法
  • 使用觸發器使用推理結果
• 功能
  • ONNX模型功能
    • pg_onnx_import_model（文本，文本，bytea，jsonb，text）
    • pg_onnx_drop_model（文本，文本）
    • pg_onnx_list_model（）
    • pg_onnx_inspect_model_bin（bytea）
  • ONNX會話功能
    • pg_onnx_create_session（文本，文本）
    • pg_onnx_describe_session（文本，文本）
    • pg_onnx_execute_session（文本，文本，jsonb）
    • pg_onnx_destroy_session（文本，文本，jsonb）
    • pg_onnx_list_session（）

---

構建PG_ONNX

要求

• Postgresql
• ONNX運行時
• 促進
• cmake
• CUDA（可選，用於NVIDIA GPU支持）

---

安裝ONNX運行時

Linux

• 使用download-onnxruntime-linux.sh腳本
  • 該腳本下載了最新版本的二進製版，然後安裝到/usr/local/onnxruntime 。
  • 另外，添加/usr/local/onnxruntime/lib to/ /etc/ld.so.conf.d/onnxruntime.conf和run ldconfig 。
• 或手動從ONNX運行時發布二進制。

Mac OS

brew install onnxruntime

---

安裝依賴項

Ubuntu/Debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

（可選）CUDA支持（CUDA 12.X，CUDNN 9.X）

• 請按照下面的說明安裝CUDA工具包和Cudnn。
  • CUDA工具包安裝指南
  • cuda下載ubuntu

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

編譯並安裝

git克隆

• 用子模型克隆存儲庫。
  • ONNX運行時服務器作為子模塊包含。
  • 如果您已經克隆了存儲庫，請運行git submodule update --init --recursive以更新子模塊。

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

如何使用

安裝擴展

CREATE EXTENSION IF NOT EXISTS pg_onnx;

簡單用法

• 導入一個ONNX文件並獲取推理結果。

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• 根據ML模型的輸入和輸出的類型和形狀，您可以看到不同的結果。以下是結果的示例。

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

使用觸發器使用推理結果

• 添加數據後，請使用之前的插入觸發器以ML推理結果更新某些列。
• 根據您的ML模型，這可能會產生重大的性能影響，因此在使用時要小心。
• 例子

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

功能

• 提供了多個功能，用於導入ONNX文件並執行和管理它。
• ONNX模型功能
  • pg_onnx_import_model（文本，文本，bytea，jsonb，text）
  • pg_onnx_drop_model（文本，文本）
  • pg_onnx_list_model（）
  • pg_onnx_inspect_model_bin（bytea）
• ONNX會話功能
  • pg_onnx_create_session（文本，文本）
  • pg_onnx_describe_session（文本，文本）
  • pg_onnx_execute_session（文本，文本，jsonb）
  • pg_onnx_destroy_session（文本，文本，jsonb）
  • pg_onnx_list_session（）