pg_onnx

PG_ONNX

• ONNX: Buka Pertukaran Jaringan Saraf
• Onnx Runtime terintegrasi dengan PostgreSQL. Lakukan inferensi ML dengan data dalam database Anda.
• PostgreSQL menciptakan proses yang dihubungkan setiap klien baru. Jika setiap proses menjalankan inferensi ONNX, sistem dan GPU akan kehabisan memori. PG_ONNX menjalankan onnxruntime-server sebagai pekerja latar belakang dan membuat dan mendaur ulang satu sesi runtime onnx per file onnx.

 grafik lr
    Subgraph P [PostgreSQL]
        arah lr
        PM ((kepala kantor pos))
        PS1 [Postgres]
        PS2 [Postgres]
        PS3 [Postgres]
        Tabel [(data model ONNX)]
        Subgraph Onnx [Pekerja latar belakang PG_ONNX]
            arah tb
            OS [onnxruntime-server]
            Onnx1 ([onnxruntime  nsession:  nmodel1])
            Onnx2 ([OnnxRuntime  nsession:  nmodel2])
            OS -. "Buat/Jalankan Sesi".-O onnx1 & Onnx2
        akhir
        PM -. "Fork".-O PS1 & PS2 & PS3
        PM -. "Pekerja Latar Belakang Dinamis".-O onnx
        PS3 <-"Model Impor"-> Tabel
        PS1 & PS2 & PS3 <-"Onnx Operation"-> Onnx
    akhir
    C [klien mencoba menggunakan pg_onnx] ==> ps3

---

• Bangun PG_onnx
  • Persyaratan
  • Instal Onnx Runtime
  • Instal dependensi
  • Kompilasi dan instal
• Cara menggunakan
  • Pasang ekstensi
  • Penggunaan sederhana
  • Menggunakan hasil inferensi dengan pemicu
• Fungsi
  • Fungsi Model ONNX
    • pg_onnx_import_model (teks, teks, bytea, jsonb, teks)
    • pg_onnx_drop_model (teks, teks)
    • pg_onnx_list_model ()
    • pg_onnx_inspect_model_bin (bytea)
  • Fungsi sesi ONNX
    • pg_onnx_create_session (teks, teks)
    • pg_onnx_describe_session (teks, teks)
    • pg_onnx_execute_session (teks, teks, jsonb)
    • pg_onnx_destroy_session (teks, teks, jsonb)
    • pg_onnx_list_session ()

---

Bangun PG_onnx

Persyaratan

• PostgreSQL
• Onnx Runtime
• Mendorong
• Cmake
• CUDA ( opsional, untuk dukungan GPU NVIDIA )

---

Instal Onnx Runtime

Linux

• Gunakan skrip download-onnxruntime-linux.sh
  • Script ini mengunduh versi terbaru dari biner dan instal ke /usr/local/onnxruntime .
  • Juga, add /usr/local/onnxruntime/lib ke /etc/ld.so.conf.d/onnxruntime.conf dan run ldconfig .
• Atau unduh Biner dari Onnx Runtime Rilis secara manual.

Mac OS

brew install onnxruntime

---

Instal dependensi

Ubuntu/Debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

(Opsional) Dukungan CUDA (CUDA 12.X, CUDNN 9.x)

• Ikuti instruksi di bawah ini untuk menginstal CUDA Toolkit dan Cudnn.
  • Panduan Instalasi Toolkit Cuda
  • Unduh Cuda untuk Ubuntu

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

Kompilasi dan instal

Git Clone

• Klon Repositori dengan Submodules.
  • Onnx Runtime Server disertakan sebagai submodule.
  • Jika Anda sudah mengkloning repositori, jalankan git submodule update --init --recursive untuk memperbarui submodules.

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

Cara menggunakan

Pasang ekstensi

CREATE EXTENSION IF NOT EXISTS pg_onnx;

Penggunaan sederhana

• Impor file ONNX dan dapatkan hasil inferensi.

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• Bergantung pada jenis dan bentuk input dan output model ML, Anda dapat melihat hasil yang berbeda. Di bawah ini adalah contoh hasilnya.

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

Menggunakan hasil inferensi dengan pemicu

• Saat data ditambahkan, gunakan pemicu sebelum memasukkan untuk memperbarui beberapa kolom dengan hasil inferensi ML.
• Bergantung pada model ML Anda, ini dapat memiliki dampak kinerja yang signifikan, jadi berhati -hatilah saat menggunakannya.
• Contoh

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

Fungsi

• Menyediakan beberapa fungsi untuk mengimpor file Onnx dan mengeksekusi dan mengelolanya.
• Fungsi Model ONNX
  • pg_onnx_import_model (teks, teks, bytea, jsonb, teks)
  • pg_onnx_drop_model (teks, teks)
  • pg_onnx_list_model ()
  • pg_onnx_inspect_model_bin (bytea)
• Fungsi sesi ONNX
  • pg_onnx_create_session (teks, teks)
  • pg_onnx_describe_session (teks, teks)
  • pg_onnx_execute_session (teks, teks, jsonb)
  • pg_onnx_destroy_session (teks, teks, jsonb)
  • pg_onnx_list_session ()