pg_onnx

pg_onnx

• ONNX：开放神经网络交换
• 与PostgreSQL集成的ONNX运行时。使用数据库中的数据执行ML推断。
• PostgreSQL创建每个新客户端连接的过程。如果每个过程都在ONNX推理上进行了，则系统和GPU将用尽内存。 PG_ONNX作为背景工作者运行OnnxRuntime-Server ，并创建并回收一个ONNX文件的一个ONNX运行时会话。

图LR
    子图P [PostgreSQL]
        方向LR
        PM（（邮政局长））
        PS1 [Postgres]
        PS2 [Postgres]
        PS3 [Postgres]
        表[（ONNX模型数据）]
        子图onnx [pg_onnx背景工人]
            方向tb
            操作系统[OnnxRuntime-Server]
            onnx1（[[onnxruntime  nsession： nmodel1]）
            onnx2（[[onnxruntime  nsession： nmodel2]）
            OS-。 “创建/执行会话”。-o onnx1＆onnx2
        结尾
        下午 - 。 “叉”。-o ps1＆ps2＆ps3
        下午 - 。 “动态背景工人”。-o onnx
        ps3 < - “导入模型”  - >表
        PS1和PS2和PS3 < - “ ONNX操作”  - > onnx
    结尾
    C [尝试使用PG_ONNX的客户端] ==> PS3

---

• 构建PG_ONNX
  • 要求
  • 安装ONNX运行时
  • 安装依赖项
  • 编译并安装
• 如何使用
  • 安装扩展
  • 简单用法
  • 使用触发器使用推理结果
• 功能
  • ONNX模型功能
    • pg_onnx_import_model（文本，文本，bytea，jsonb，text）
    • pg_onnx_drop_model（文本，文本）
    • pg_onnx_list_model（）
    • pg_onnx_inspect_model_bin（bytea）
  • ONNX会话功能
    • pg_onnx_create_session（文本，文本）
    • pg_onnx_describe_session（文本，文本）
    • pg_onnx_execute_session（文本，文本，jsonb）
    • pg_onnx_destroy_session（文本，文本，jsonb）
    • pg_onnx_list_session（）

---

构建PG_ONNX

要求

• Postgresql
• ONNX运行时
• 促进
• cmake
• CUDA（可选，用于NVIDIA GPU支持）

---

安装ONNX运行时

Linux

• 使用download-onnxruntime-linux.sh脚本
  • 该脚本下载了最新版本的二进制版，然后安装到/usr/local/onnxruntime 。
  • 另外，添加/usr/local/onnxruntime/lib to/ /etc/ld.so.conf.d/onnxruntime.conf和run ldconfig 。
• 或手动从ONNX运行时发布二进制。

Mac OS

brew install onnxruntime

---

安装依赖项

Ubuntu/Debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

（可选）CUDA支持（CUDA 12.X，CUDNN 9.X）

• 请按照下面的说明安装CUDA工具包和Cudnn。
  • CUDA工具包安装指南
  • cuda下载ubuntu

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

编译并安装

git克隆

• 用子模型克隆存储库。
  • ONNX运行时服务器作为子模块包含。
  • 如果您已经克隆了存储库，请运行git submodule update --init --recursive以更新子模块。

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

如何使用

安装扩展

CREATE EXTENSION IF NOT EXISTS pg_onnx;

简单用法

• 导入一个ONNX文件并获取推理结果。

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• 根据ML模型的输入和输出的类型和形状，您可以看到不同的结果。以下是结果的示例。

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

使用触发器使用推理结果

• 添加数据后，请使用之前的插入触发器以ML推理结果更新某些列。
• 根据您的ML模型，这可能会产生重大的性能影响，因此在使用时要小心。
• 例子

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

功能

• 提供了多个功能，用于导入ONNX文件并执行和管理它。
• ONNX模型功能
  • pg_onnx_import_model（文本，文本，bytea，jsonb，text）
  • pg_onnx_drop_model（文本，文本）
  • pg_onnx_list_model（）
  • pg_onnx_inspect_model_bin（bytea）
• ONNX会话功能
  • pg_onnx_create_session（文本，文本）
  • pg_onnx_describe_session（文本，文本）
  • pg_onnx_execute_session（文本，文本，jsonb）
  • pg_onnx_destroy_session（文本，文本，jsonb）
  • pg_onnx_list_session（）