pg_onnx

pg_onnx

• ONNX: Intercambio de red neuronal abierta
• ONNX Runtime integrado con PostgreSQL. Realice una inferencia de ML con datos en su base de datos.
• PostgreSQL crea un proceso que cada nuevo cliente se conecta. Si cada proceso se ejecutara una inferencia ONNX, el sistema y la GPU se quedarían sin memoria. PG_ONNX ejecuta Onnxruntime-server como trabajador de fondo y crea y recicla una sesión de tiempo de ejecución ONNX por archivo ONNX.

 Gráfico LR
    Subgraph P [PostgreSQL]
        Dirección LR
        PM ((Postmaster))
        PS1 [Postgres]
        PS2 [Postgres]
        PS3 [Postgres]
        Tabla [(datos del modelo ONNX)]
        Subgraph ONNX [PG_ONNX Background Worker]
            Dirección TB
            OS [Onnxruntime-server]
            Onnx1 ([Onnxruntime  nsession:  nModel1])
            Onnx2 ([Onnxruntime  nsession:  nModel2])
            OS -. "Crear/ejecutar sesión".-O ONNX1 y ONNX2
        fin
        PM -. "Fork".-O PS1 y PS2 y PS3
        PM -. "Trabajador de fondo dinámico".-O ONNX
        PS3 <-"Modelo de importación"-> Tabla
        PS1 y PS2 y PS3 <-"Onnx Operation"-> ONNX
    fin
    C [Cliente intentando usar PG_ONNX] ==> PS3

---

• Construir pg_onnx
  • Requisitos
  • Instalar ONNX Runtime
  • Instalar dependencias
  • Compilar e instalar
• Cómo usar
  • Extensión de instalación
  • Uso simple
  • Usando resultados de inferencia con desencadenantes
• Funciones
  • Funciones del modelo ONNX
    • PG_ONNX_IMPORT_MODEL (texto, texto, bytea, jsonb, texto)
    • PG_ONNX_DROP_MODEL (texto, texto)
    • PG_ONNX_LIST_MODEL ()
    • pg_onnx_inspect_model_bin (bytea)
  • Funciones de la sesión de ONNX
    • pg_onnx_create_session (texto, texto)
    • pg_onnx_describe_session (texto, texto)
    • PG_ONNX_EXECUTE_SESSION (texto, texto, jsonb)
    • pg_onnx_destroy_session (texto, texto, jsonb)
    • pg_onnx_list_session ()

---

Construir pg_onnx

Requisitos

• Postgresql
• Tiempo de ejecución de ONNX
• Aumentar
• CMake
• CUDA ( opcional, para soporte de GPU de NVIDIA )

---

Instalar ONNX Runtime

Linux

• Use el script download-onnxruntime-linux.sh
  • Este script descarga la última versión del binario e instala a /usr/local/onnxruntime .
  • Además, agregue /usr/local/onnxruntime/lib to /etc/ld.so.conf.d/onnxruntime.conf y ejecute ldconfig .
• O descargue manualmente Binary de ONNX Runtime Lotes.

Mac OS

brew install onnxruntime

---

Instalar dependencias

Ubuntu/Debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

(opcional) Soporte CUDA (CUDA 12.X, CUDNN 9.X)

• Siga las instrucciones a continuación para instalar el kit de herramientas CUDA y CUDNN.
  • Guía de instalación de CUDA Toolkit
  • Descarga de Cuda para ubuntu

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

Compilar e instalar

Clon git

• Clonar el repositorio con submódulos.
  • ONNX Runtime Server se incluye como un submódulo.
  • Si ya clonó el repositorio, ejecute git submodule update --init --recursive para actualizar los submódulos.

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

Cómo usar

Extensión de instalación

CREATE EXTENSION IF NOT EXISTS pg_onnx;

Uso simple

• Importe un archivo ONNX y obtenga los resultados de la inferencia.

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• Dependiendo del tipo y la forma de las entradas y salidas del modelo ML, puede ver diferentes resultados. A continuación se muestra un ejemplo del resultado.

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

Usando resultados de inferencia con desencadenantes

• Cuando se agregan datos, use el activador antes de insertar para actualizar algunas columnas con resultados de inferencia de ML.
• Dependiendo de su modelo ML, esto puede tener un impacto significativo en el rendimiento, así que tenga cuidado al usarlo.
• Ejemplo

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

Funciones

• Proporciona varias funciones para importar el archivo ONNX y ejecutarlo y administrarlo.
• Funciones del modelo ONNX
  • PG_ONNX_IMPORT_MODEL (texto, texto, bytea, jsonb, texto)
  • PG_ONNX_DROP_MODEL (texto, texto)
  • PG_ONNX_LIST_MODEL ()
  • pg_onnx_inspect_model_bin (bytea)
• Funciones de la sesión de ONNX
  • pg_onnx_create_session (texto, texto)
  • pg_onnx_describe_session (texto, texto)
  • PG_ONNX_EXECUTE_SESSION (texto, texto, jsonb)
  • pg_onnx_destroy_session (texto, texto, jsonb)
  • pg_onnx_list_session ()