pg_onnx

pg_onnx

• ONNX: Open Neural Network Exchange
• รันไทม์ ONNX รวมกับ PostgreSQL ทำการอนุมาน ML ด้วยข้อมูลในฐานข้อมูลของคุณ
• PostgreSQL สร้างกระบวนการทุกไคลเอนต์ใหม่เชื่อมต่อ หากทุกกระบวนการรันการอนุมาน ONNX ระบบและ GPU จะหมดหน่วยความจำ PG_ONNX รัน OnnxRuntime-Server เป็นผู้ปฏิบัติงานพื้นหลังและสร้างและรีไซเคิลเซสชันรันไทม์ ONNX หนึ่งรายการต่อไฟล์ ONNX

 กราฟ LR
    Subgraph P [PostgreSQL]
        ทิศทาง LR
        PM ((Postmaster))
        PS1 [Postgres]
        PS2 [postgres]
        PS3 [postgres]
        ตาราง [(ข้อมูลโมเดล ONNX)]]
        subgraph onnx [PG_ONNX Working Worker]
            ทิศทางวัณโรค
            OS [OnnxRuntime-Server]
            onnx1 ([onnxruntime  nsession:  nmodel1]))
            onnx2 ([onnxruntime  nsession:  nmodel2])
            OS -. "สร้าง/ดำเนินการเซสชัน".-O ONNX1 & ONNX2
        จบ
        PM -. "Fork".-O PS1 & PS2 & PS3
        PM -. "ผู้ปฏิบัติงานพื้นหลังแบบไดนามิก". -o onnx
        PS3 <-"การนำเข้าโมเดล"-> ตาราง
        PS1 & PS2 & PS3 <-"ONNX Operation"-> onnx
    จบ
    c [ไคลเอนต์พยายามใช้ pg_onnx] ==> ps3

---

• สร้าง pg_onnx
  • ความต้องการ
  • ติดตั้ง onnx runtime
  • ติดตั้งการพึ่งพา
  • รวบรวมและติดตั้ง
• วิธีใช้
  • ติดตั้งส่วนขยาย
  • การใช้งานง่ายๆ
  • ใช้ผลลัพธ์การอนุมานกับทริกเกอร์
• ฟังก์ชั่น
  • ฟังก์ชั่นโมเดล ONNX
    • PG_ONNX_IMPORT_MODEL (ข้อความ, ข้อความ, bytea, jsonB, ข้อความ)
    • pg_onnx_drop_model (ข้อความข้อความ)
    • pg_onnx_list_model ()
    • pg_onnx_inspect_model_bin (bytea)
  • ฟังก์ชั่นเซสชัน onnx
    • PG_ONNX_CREATE_SESSION (ข้อความ, ข้อความ)
    • pg_onnx_describe_session (ข้อความ, ข้อความ)
    • PG_ONNX_EXECUTE_SESSION (ข้อความ, ข้อความ, JSONB)
    • PG_ONNX_DESTROY_SESSION (ข้อความ, ข้อความ, JSONB)
    • pg_onnx_list_session ()

---

สร้าง pg_onnx

ความต้องการ

• PostgreSQL
• รันไทม์ onnx
• การเพิ่ม
• cmake
• CUDA ( ไม่บังคับสำหรับการสนับสนุน NVIDIA GPU )

---

ติดตั้ง onnx runtime

ลินเวกซ์

• ใช้สคริปต์ download-onnxruntime-linux.sh
  • สคริปต์นี้ดาวน์โหลดไบนารีเวอร์ชันล่าสุดและติดตั้งเป็น /usr/local/onnxruntime
  • นอกจากนี้เพิ่ม /usr/local/onnxruntime/lib ถึง /etc/ld.so.conf.d/onnxruntime.conf และเรียกใช้ ldconfig
• หรือดาวน์โหลดไบนารีด้วยตนเองจาก Onnx Runtime

Mac OS

brew install onnxruntime

---

ติดตั้งการพึ่งพา

Ubuntu/Debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

(ไม่บังคับ) การสนับสนุน CUDA (CUDA 12.X, CUDNN 9.X)

• ทำตามคำแนะนำด้านล่างเพื่อติดตั้งชุดเครื่องมือ CUDA และ CUDNN
  • คู่มือการติดตั้ง CUDA Toolkit
  • cuda ดาวน์โหลดสำหรับ ubuntu

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

รวบรวมและติดตั้ง

git clone

• โคลนที่เก็บด้วย submodules
  • ONNX Runtime Server รวมเป็น submodule
  • หากคุณโคลนพื้นที่เก็บข้อมูลแล้วให้เรียกใช้ git submodule update --init --recursive เพื่ออัปเดต submodules

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

วิธีใช้

ติดตั้งส่วนขยาย

CREATE EXTENSION IF NOT EXISTS pg_onnx;

การใช้งานง่ายๆ

• นำเข้าไฟล์ ONNX และรับผลลัพธ์การอนุมาน

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• ขึ้นอยู่กับประเภทและรูปร่างของอินพุตและเอาต์พุตของรุ่น ML คุณสามารถเห็นผลลัพธ์ที่แตกต่างกัน ด้านล่างเป็นตัวอย่างของผลลัพธ์

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

ใช้ผลลัพธ์การอนุมานกับทริกเกอร์

• เมื่อเพิ่มข้อมูลให้ใช้ทริกเกอร์แทรกก่อนเพื่ออัปเดตบางคอลัมน์ด้วยผลลัพธ์การอนุมาน ML
• ขึ้นอยู่กับโมเดล ML ของคุณสิ่งนี้อาจมีผลกระทบต่อประสิทธิภาพที่สำคัญดังนั้นควรระมัดระวังเมื่อใช้งาน
• ตัวอย่าง

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

ฟังก์ชั่น

• จัดเตรียมฟังก์ชั่นหลายอย่างสำหรับการนำเข้าไฟล์ ONNX และดำเนินการและจัดการ
• ฟังก์ชั่นโมเดล ONNX
  • PG_ONNX_IMPORT_MODEL (ข้อความ, ข้อความ, bytea, jsonB, ข้อความ)
  • pg_onnx_drop_model (ข้อความข้อความ)
  • pg_onnx_list_model ()
  • pg_onnx_inspect_model_bin (bytea)
• ฟังก์ชั่นเซสชัน onnx
  • PG_ONNX_CREATE_SESSION (ข้อความ, ข้อความ)
  • pg_onnx_describe_session (ข้อความ, ข้อความ)
  • PG_ONNX_EXECUTE_SESSION (ข้อความ, ข้อความ, JSONB)
  • PG_ONNX_DESTROY_SESSION (ข้อความ, ข้อความ, JSONB)
  • pg_onnx_list_session ()