الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تضمين

تضمين

inmbedpg هي خدمة API Node.js التي تستخدم postgresql مع امتداد pgvector . يساعد في تخزين بيانات المتجه والبحث في قاعدة بيانات. هذا المشروع هو نسخة مبكرة لمعرفة ما إذا كان مفيدًا للأشخاص.

تحفيز

قواعد بيانات المتجهات مفيدة حقًا ولكنها غالية الثمن ومقيدة. لقد قمت بإنشاء inmbedpg لجعل قواعد البيانات هذه أسهل وأرخص للاستخدام. إنه يعمل بشكل جيد لأحجام مختلفة من المشاريع. التكلفة الرئيسية تأتي من استخدام الخدمات السحابية مثل PostgreSQL ومساحة الخادم. تساعدك inmbedpg على إعداد قاعدة بيانات متجه بسرعة مع نقاط نهاية واجهة برمجة تطبيقات سهلة الاستخدام وأداة سطر الأوامر.

حيث نقوم بتخزين التضمينات

نقوم بتخزين التضمينات والبحث باستخدام postgreSQL مع امتداد PGVector. يمكنك العثور على pgvector هنا: pgvector على github.

يدعم PGVector :

  • دقيق دقيق وتقريبي أقرب جار
  • أنواع المتجهات المختلفة: المتجهات أحادية الدقة ، نصف الدقة ، الثنائية ، والمتفرق
  • مقاييس المسافة المختلفة: L2 ، المنتج الداخلي ، جيب التمام ، L1 ، Hamming ، و jaccard

حلول السحابة التي تدعم PGVector

نعم ، هناك حلول سحابية تدعم PGVector:

  1. AWS RDS - تعرف على المزيد
  2. جوجل سحابة - اقرأ المزيد

التقنيات والحزم المستخدمة

يقوم inmbedpg بالاستفادة من العديد من التقنيات والحزم الرئيسية لتقديم وظائفها:

  • Express.js : إطار تطبيق الويب الخاص بـ Node.js الحد الأدنى والمرونة والذي يوفر مجموعة قوية من الميزات لتطبيقات الويب والجوال. يتم استخدام Express.js للتعامل مع التوجيه والأدوات الوسيطة في inmbedpg.
  • TypeScript : مجموعة من JavaScript المكتوبة بشكل ثابت والتي تجمعها إلى JavaScript العادي. يعزز TypeScript جودة الكود وإنتاجية المطورين مع سلامة النوع وميزات JavaScript الحديثة.
  • Mikroorm : A ORM (MAPPER-CONFORT-RELATION) لـ TypeScript و JavaScript ، مستوحى من إطار الكيان والعقيدة. يساعد في إدارة عمليات قاعدة البيانات ويدعم PostgreSQL و SQLite و MySQL و MongoDB.
  • ZOD : A TypeScript-First Schema Schema Schema و Library. يتم استخدام ZOD للتحقق من شكل ونوع البيانات في وقت التشغيل ، مما يضمن معالجة البيانات القوية وخالية من الأخطاء.

التثبيت والتطوير

المتطلبات الأساسية

قبل أن تبدأ عملية التثبيت ، تأكد من تثبيت المتطلبات الأساسية التالية:

  1. أحدث إصدار مستقر من Node.js - قم بتنزيله من موقع Node.js الرسمي.
  2. PNPM Package Manager - قم بتثبيته عن طريق تشغيل npm install -g pnpm .

إعداد postgresql مع PGVector

يتطلب inmbedpg postgreSQL مع امتداد pgvector . يمكنك إعداد هذا باستخدام:

  • مستودع pgvector الرسمي متاح في PGVector على Github.
  • إصدار متشعب يتضمن إعداد Docker لتثبيت أسهل ، متاح في مستودعتي: Arisrayelyan/PGVector على Github.
  • أو استخدم صورة Docker الخاصة بي: arisrayelyan/pgvector على Docker Hub.

باستخدام صورة Docker (التطوير فقط) 

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

خطوات التثبيت

  1. استنساخ مستودع inmbedpg 

    git [email protected]:arisrayelyan/embed-pg.git

  2. انتقل إلى دليل المشروع 

     cd embed-pg

  3. تثبيت التبعيات 

     pnpm install

  4. إعداد متغيرات البيئة

    انسخ ملف .env.example إلى .env وتعيين متغيرات البيئة حسب الحاجة.

متغيرات البيئة المتاحة 

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

ملاحظة: هناك حاجة إلى متغيرات بيئة Openai عندما يحتاج inmbedPG إلى التعامل مع طلبات التضمين لك.

بعد التثبيت

بعد إعداد متغيرات البيئة الخاصة بك وتثبيت inmbedpg ، أنت مستعد لإعداد المكونات اللازمة لخدمتك للعمل بفعالية.

الأوامر المتاحة

  • pnpm generate:collections : يقوم هذا الأمر بتشغيل أداة سطر أوامر تفاعلية توجهك من خلال إنشاء جميع المكونات اللازمة لأي مجموعة جديدة تريد إضافتها. يتضمن ذلك الخدمات ونقاط نهاية API وكيانات قاعدة البيانات والترحيل ، وضمان أن تكون خدمة قاعدة بيانات المتجهات شاملة وجاهزة للتعامل مع احتياجات البيانات المحددة.
  • pnpm generate:token : يقوم هذا الأمر بإنشاء رمز API جديد لخدمتك ، والتي يمكنك استخدامها لمصادقة الطلبات على خدمة inmbedpg.
  • pnpm start : ابدأ الخدمة في وضع الإنتاج.
  • pnpm build : بناء تطبيق للإنتاج.
  • pnpm dev : ابدأ الخدمة في وضع التطوير وتطبيق ترحيل قاعدة البيانات.
  • pnpm dev:db migration : تطبيق ترحيل قاعدة البيانات في وضع التطوير.
    • --create العلم ينشئ ملف ترحيل جديد.
    • --up العلم فوق جميع الترحيل المعلقة.
    • -العلم --down يعيد الترحيل الأخير.
    • --to يطبق جميع الترحيل حتى ترحيل محدد.
  • pnpm db migration : تطبيق ترحيل قاعدة البيانات في وضع الإنتاج. استخدم نفس الأعلام كما في وضع التطوير.
  • pnpm lint : تحقق من الكود المصدر لأخطاء النمط والبرمجة.
  • pnpm lint:fix : إصلاح أخطاء Linting تلقائيًا في الكود المصدري.

حول الملفات التي تم إنشاؤها

عندما تقوم بإنشاء مجموعة جديدة ، يقوم inmbedpg بإنشاء الملفات التالية:

  1. الخدمة : ملف خدمة يحتوي على جميع منطق الأعمال للمجموعة.
  2. نقطة نهاية API : ملف نقطة نهاية API يحتوي على جميع طرق المجموعة.
  3. الكيان : ملف كيان يحدد مخطط قاعدة البيانات للمجموعة.
  4. الترحيل : ملف ترحيل يحتوي على استعلامات SQL لإنشاء جدول قاعدة البيانات للمجموعة.
  5. يقوم بتحديث بعض الملفات في دليل src لتضمين الملفات الجديدة.

ملاحظة : يمكنك تخصيص الملفات التي تم إنشاؤها لتناسب احتياجاتك المحددة. ولكن لا تزيل ! embedPg تعليق ! embedPg في الملفات ، حيث يستخدم inmbedpg هذا لتحديد الملفات التي تم إنشاؤها.

وثائق API

هنا وثائق API لـ inmbedpg.

النشر

قبل نشر inmbedpg على بيئة الإنتاج ، تأكد من إعداد متغيرات البيئة اللازمة والتكوينات. تأكد أيضًا من قيامك بتشغيل PostgreSQL مع امتداد pgvector (انظر Section Cloud Solutions التي تدعم PGVector ).

قم بتشغيل الأمر التالي لبناء تطبيق الإنتاج: 

pnpm build

بعد اكتمال الإنشاء ، سيكون لديك dist Directory مع الكود المترجم. نشر هذا الرمز على الخادم الخاص بك وقم بتشغيل الأمر التالي لبدء الخدمة:

في البداية قم بتشغيل ترحيل قاعدة البيانات: 

pnpm prod:db migration --up

توليد رمز API جديد: 

pnpm generate:token

ثم ابدأ الخدمة: 

pnpm start

نشر Docker

يمكنك أيضًا نشر inmbedpg باستخدام Docker.

قم بإنشاء صورة Docker ( ملاحظة: تأكد من إعداد متغيرات البيئة اللازمة): 

./scripts/build-server.sh

تودو

  1. أضف تغطية الاختبار.
  2. تحسين الوثائق.
  3. تحسين وظائف البحث البيانات الوصفية ، وتنفيذ المزيد من المشغلين.
  4. أضف وثائق Swagger وإنشائها تلقائيًا مع توليد التجميع.
  5. أضف البرامج النصية للنشر لمقدمي الخدمات السحابية المختلفين.

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. انظر ملف الترخيص للحصول على التفاصيل.

المساهمة

شكرا لك على اهتمامك بالمساهمة في inmbedpg! راجع ملف المساهمة. md للحصول على إرشادات حول كيفية المساهمة في المشروع.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل