pg_onnx

pg_onnx

• ONNX: فتح الشبكات العصبية
• ONNX Runtime متكامل مع postgresql. قم بإجراء استنتاج ML مع البيانات في قاعدة البيانات الخاصة بك.
• تنشئ PostgreSQL عملية يقوم كل عميل جديد بتوصيله. إذا كانت كل عملية تعمل على استنتاج ONNX ، فإن النظام و GPU ينفد من الذاكرة. يقوم PG_Onnx بتشغيل OnNxRuntime Server كعامل خلفي ويقوم بإنشاء وإعادة تدوير جلسة وقت تشغيل Onnx واحدة لكل ملف ONNX.

 الرسم البياني LR
    subgraph p [postgreSQL]
        الاتجاه LR
        رئيس الوزراء ((مدير مكتب البريد))
        PS1 [postgres]
        PS2 [postgres]
        PS3 [postgres]
        الجدول [(بيانات نموذج ONNX)]]
        subgraph onnx [pg_onnx عامل خلفية]
            اتجاه السل
            OS [onnxruntime-server]
            onnx1 ([onnxruntime  nsession:  nmodel1])
            onnx2 ([onnxruntime  nsession:  nmodel2])
            OS -. "إنشاء/تنفيذ جلسة" .- O ONNX1 و ONNX2
        نهاية
        مساءً -. "شوكة" .- O PS1 و PS2 و PS3
        مساءً -. "عامل الخلفية الديناميكي" .- O ONNX
        PS3 <-"نموذج الاستيراد"-> جدول
        PS1 و PS2 و PS3 <-"Onnx Operation"-> Onnx
    نهاية
    C [يحاول العميل استخدام pg_onnx] ==> ps3

---

• بناء pg_onnx
  • متطلبات
  • تثبيت ONNX وقت التشغيل
  • تثبيت التبعيات
  • تجميع وتثبيت
• كيفية استخدام
  • تثبيت امتداد
  • استخدام بسيط
  • باستخدام نتائج الاستدلال مع المشغلات
• وظائف
  • وظائف نموذج ONNX
    • pg_onnx_import_model (النص ، النص ، bytea ، jsonb ، نص)
    • pg_onnx_drop_model (نص ، نص)
    • pg_onnx_list_model ()
    • pg_onnx_inspect_model_bin (bytea)
  • وظائف جلسة ONNX
    • pg_onnx_create_session (نص ، نص)
    • pg_onnx_describe_session (نص ، نص)
    • pg_onnx_execute_session (نص ، نص ، jsonb)
    • pg_onnx_destroy_session (نص ، نص ، JSONB)
    • pg_onnx_list_session ()

---

بناء pg_onnx

متطلبات

• postgresql
• وقت التشغيل ONNX
• يعزز
• cmake
• CUDA ( اختياري ، لدعم NVIDIA GPU )

---

تثبيت ONNX وقت التشغيل

Linux

• استخدم download-onnxruntime-linux.sh البرنامج النصي
  • يقوم هذا البرنامج النصي بتنزيل أحدث إصدار من الثنائي والتثبيت على /usr/local/onnxruntime .
  • أيضًا ، إضافة /usr/local/onnxruntime/lib to /etc/ld.so.conf.d/onnxruntime.conf وقم بتشغيل ldconfig .
• أو قم بتنزيل ثنائي يدويًا من إصدارات وقت التشغيل ONNX.

Mac OS

brew install onnxruntime

---

تثبيت التبعيات

Ubuntu/Debian

sudo apt install cmake libboost-all-dev libpq-dev postgresql-server-dev-all

(اختياري) دعم CUDA (CUDA 12.x ، Cudnn 9.x)

• اتبع الإرشادات أدناه لتثبيت مجموعة أدوات CUDA و CUDNN.
  • دليل تثبيت مجموعة أدوات CUDA
  • تنزيل CUDA لـ Ubuntu

sudo apt install cuda-toolkit-12 libcudnn9-dev-cuda-12

Mac OS

brew install cmake boost postgresql

---

تجميع وتثبيت

استنساخ git

• استنساخ المستودع مع العارض الفرعي.
  • يتم تضمين خادم وقت التشغيل ONNX كوحدة فرعية.
  • إذا قمت بالفعل باستنساخ المستودع ، فقم بتشغيل git submodule update --init --recursive لتحديث العوامل الفرعية.

git clone --recursive https://github.com/kibae/pg_onnx.git

cmake -B build -S . -DCMAKE_BUILD_TYPE=Release
cmake --build build --target pg_onnx --parallel
sudo cmake --install build/pg_onnx

---

كيفية استخدام

تثبيت امتداد

CREATE EXTENSION IF NOT EXISTS pg_onnx;

استخدام بسيط

• استيراد ملف ONNX والحصول على نتائج الاستدلال.

 SELECT pg_onnx_import_model(
               ' sample_model ' , -- ------------- model name
               ' v20230101 ' , -- ---------------- model version 
               PG_READ_BINARY_FILE( ' /your_model_path/model.onnx ' ):: bytea , -- model binary data
               ' {"cuda": true} ' ::jsonb, -- ---- options
               ' sample model ' -- -------------- description
       );

SELECT pg_onnx_execute_session(
               ' sample_model ' , -- model name
               ' v20230101 ' , -- --- model version
               ' {
                 "x": [[1], [2], [3]],
                 "y": [[3], [4], [5]],
                 "z": [[5], [6], [7]]
               } ' -- ------------- inputs
       );

• اعتمادًا على نوع وشكل مدخلات ومخرجات نموذج ML ، يمكنك رؤية نتائج مختلفة. أدناه مثال على النتيجة.

                            pg_onnx_execute                             
--------------------------------------------------------------------------------
 {"output": [[0.7488641738891602], [0.8607008457183838], [0.9725375175476074]]}

باستخدام نتائج الاستدلال مع المشغلات

• عند إضافة البيانات ، استخدم مشغلًا قبل إدراج لتحديث بعض الأعمدة مع نتائج استنتاج ML.
• اعتمادًا على نموذج ML الخاص بك ، يمكن أن يكون لهذا تأثير أداء كبير ، لذا كن حذرًا عند استخدامه.
• مثال

 -- Create a test table
CREATE TABLE trigger_test
(
    id         SERIAL PRIMARY KEY ,
    value1     INT ,
    value2     INT ,
    value3     INT ,
    prediction FLOAT
);

-- Create a trigger function
CREATE OR REPLACE FUNCTION trigger_test_insert ()
    RETURNS TRIGGER AS
$$
DECLARE
    result jsonb;
BEGIN
    result : = pg_onnx_execute_session(
            ' sample_model ' , ' v20230101 ' ,
            JSONB_BUILD_OBJECT(
                    ' x ' , ARRAY [[ NEW . value1 ]],
                    ' y ' , ARRAY [[ NEW . value2 ]],
                    ' z ' , ARRAY [[ NEW . value3 ]]));

    -- output shape: float[-1,1]
    -- eg: {"output": [[0.6492120623588562]]}
    NEW . prediction : = result - > ' output ' - > 0 - > 0 ;
    RETURN NEW;
END;
$$
    LANGUAGE plpgsql;

-- Create a trigger
CREATE TRIGGER trigger_test_insert
    BEFORE INSERT
    ON trigger_test
    FOR EACH ROW
EXECUTE PROCEDURE trigger_test_insert();

---

وظائف

• يوفر العديد من الوظائف لاستيراد ملف ONNX وتنفيذه وإدارته.
• وظائف نموذج ONNX
  • pg_onnx_import_model (النص ، النص ، bytea ، jsonb ، نص)
  • pg_onnx_drop_model (نص ، نص)
  • pg_onnx_list_model ()
  • pg_onnx_inspect_model_bin (bytea)
• وظائف جلسة ONNX
  • pg_onnx_create_session (نص ، نص)
  • pg_onnx_describe_session (نص ، نص)
  • pg_onnx_execute_session (نص ، نص ، jsonb)
  • pg_onnx_destroy_session (نص ، نص ، JSONB)
  • pg_onnx_list_session ()