pg_onnx

pg_onnx

• ONNX: Open Neural Network Exchange
• Onnx -Laufzeit integriert in PostgreSQL. Führen Sie ML -Inferenz mit Daten in Ihrer Datenbank durch.
• PostgreSQL erstellt einen Prozess, den jeder neue Client verbindet. Wenn jeder Prozess eine Inferenz lief, würde das System und die GPU den Speicher mehr haben. pg_onnx führt onnxruntime-server als Hintergrundarbeiter aus und erstellt und recycelt eine Onnx-Laufzeit-Sitzung pro ONNX-Datei.

 Graph LR
    Subgraph P [PostgreSQL]
        Richtung LR
        PM ((Postmeister))
        PS1 [Postgres]
        PS2 [Postgres]
        PS3 [Postgres]
        Tabelle [(ONNX -Modelldaten)]
        Subgraph Onnx [pg_onnx Hintergrundarbeiter]
            Richtung TB
            OS [OnnxRuntime-Server]
            ONNX1 ([onnxruntime  nsession:  nmodel1])
            ONNX2 ([onnxruntime  nsession:  nmodel2])
            Os -. "Session erstellen/ausführen".-o onnx1 & onnx2
        Ende
        PM -. "Fork".-O PS1 & PS2 & PS3
        PM -. "Dynamischer Hintergrundarbeiter".-o onnx
        PS3 <-"Importmodell"-> Tabelle
        PS1 & PS2 & PS3 <-"Onnx Operation"-> Onnx
    Ende
    C [Client versucht, pg_onnx zu verwenden] ==> PS3

---

• Erstellen Sie pg_onnx
  • Anforderungen
  • Installieren Sie die Laufzeit von OnNX
  • Abhängigkeiten installieren
  • Kompilieren und installieren
• Wie man benutzt
  • Erweiterung installieren
  • Einfache Verwendung
  • Verwenden von Inferenzergebnissen mit Triggern
• Funktionen
  • ONNX -Modellfunktionen
    • pg_onnx_import_model (text, text, bytea, jsonb, text)
    • pg_onnx_drop_model (Text, Text)
    • pg_onnx_list_model ()
    • pg_onnx_inspect_model_bin (bytea)
  • Onnx -Sitzungsfunktionen
    • pg_onnx_create_session (Text, Text)
    • pg_onnx_describe_session (Text, Text)
    • PG_ONNX_EXECUTE_SESSION (Text, Text, JSONB)
    • pg_onnx_destroy_session (text, text, JSONB)
    • pg_onnx_list_session ()

---

Erstellen Sie pg_onnx

Anforderungen

• PostgreSQL
• Onnx -Laufzeit
• Schub
• Cmake
• CUDA ( optional, für die NVIDIA -GPU -Unterstützung )

---

Installieren Sie die Laufzeit von OnNX

Linux

• Verwenden Sie Download- download-onnxruntime-linux.sh -Skript
  • Dieses Skript lädt die neueste Version des Binary und installiert an /usr/local/onnxruntime .
  • Außerdem add /usr/local/onnxruntime/lib to /etc/ld.so.conf.d/onnxruntime.conf und führen Sie ldconfig aus.
• Oder laden Sie Binärdien von ONNX Runtime Releases manuell herunter.

Mac OS

brew install onnxruntime

---

Abhängigkeiten installieren

Ubuntu/Debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

(Optional) CUDA -Unterstützung (CUDA 12.x, CUDNN 9.x)

• Befolgen Sie die folgenden Anweisungen, um das CUDA -Toolkit und das Cudnn zu installieren.
  • CUDA -Toolkit -Installationshandbuch
  • Cuda Download für Ubuntu

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

Kompilieren und installieren

Git -Klon

• Klonen Sie das Repository mit Submodule.
  • ONNX Runtime Server ist als Submodul enthalten.
  • Wenn Sie das Repository bereits kloniert haben, führen Sie git submodule update --init --recursive aus, um Submodule zu aktualisieren.

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

Wie man benutzt

Erweiterung installieren

CREATE EXTENSION IF NOT EXISTS pg_onnx;

Einfache Verwendung

• Importieren Sie eine ONNX -Datei und erhalten Sie die Inferenzergebnisse.

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• Abhängig von der Art und Form der Eingänge und Ausgänge des ML -Modells können Sie unterschiedliche Ergebnisse sehen. Unten ist ein Beispiel für das Ergebnis.

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

Verwenden von Inferenzergebnissen mit Triggern

• Wenn Daten hinzugefügt werden, verwenden Sie den Voreingang Trigger, um einige Spalten mit ML -Inferenzergebnissen zu aktualisieren.
• Abhängig von Ihrem ML -Modell kann dies eine erhebliche Leistungswirkung haben. Seien Sie also vorsichtig, wenn Sie es verwenden.
• Beispiel

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

Funktionen

• Bietet mehrere Funktionen zum Importieren von ONNX -Dateien und zum Ausführen und Verwalten.
• ONNX -Modellfunktionen
  • pg_onnx_import_model (text, text, bytea, jsonb, text)
  • pg_onnx_drop_model (Text, Text)
  • pg_onnx_list_model ()
  • pg_onnx_inspect_model_bin (bytea)
• Onnx -Sitzungsfunktionen
  • pg_onnx_create_session (Text, Text)
  • pg_onnx_describe_session (Text, Text)
  • PG_ONNX_EXECUTE_SESSION (Text, Text, JSONB)
  • pg_onnx_destroy_session (text, text, JSONB)
  • pg_onnx_list_session ()