الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Mettisdb: قاعدة بيانات متجه Lite الموزعة المصممة من *scratch.

ماذا تفعل:

  • البحث عن النص الكامل باستخدام ترتيب القرب
  • البحث الدلالي عبر HNSW + مسافة جيب التمام
  • خدمة تضمين النص الأساسية المتكاملة (Python HTTP API حول محول الجملة)
  • الانصهار الترتيب المتبادل لدمج نتائج البحث الدلالية النص الكامل
  • خدمة في الذاكرة + ثبات القرص
  • تسامح الأخطاء مع تكرار القطاع باستخدام الطوف

ما ليس:

  • جاهز للإنتاج (رمز جميل الآن)
  • مثالي (لأن عدو الخير)

بنيان

ابدء

قم بتثبيت التبعيات لخدمة تضمين النص الأساسية في مجلد third_party باستخدام PIP. 

pip install -r requirements.txt

ثم ابدأ الخدمة مثل ذلك: 

uvicorn main:app

قم بتعيين متغير البيئة EmbeddingHost يشير إلى عنوان خدمة التضمين 

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

تابع لبدء مثيل (مثيلات) المتجه DB

أعلام
  • httpaddr: عنوان خدمة HTTP API
  • JoinAddr: عنوان خدمة HTTP API للعقدة الأولية للانضمام
  • Nodeid: معرف فريد للعقدة
  • Raftaddr: عنوان الطوافة للعقدة
تشغيل عقدة واحدة 
go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

بعد /فهرس

فهرس وثيقة 

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} '
الحصول على /البحث

قم بالبحث 

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} '
تشغيل 3 عقدة الكتلة

قم بتشغيل الأوامر أدناه على أجهزة مختلفة (على الأقل مثيلات مختلفة من المشروع لمحاكاة) 

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

تنضم النسخ المتماثلة إلى الابتدائي في 127.0.0.1:9000 

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111
go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

تودو

  • الفهرسة
    • الفهرسة المتزامنة باستخدام goroutines لمعالجة المصطلحات
  • استرجاع
    • استفسارات منطقية
    • البحث المتزامن
  • تصنيف
  • API
    • مؤشر السائبة
    • حذف المستند
  • تخزين
    • ضغط الجزء
  • النسخ المتماثل
    • لقطة تعمل؟
  • النشر
    • الحاوية
  • جودة الكود
    • كفارة لجميع الفظائع التي ارتكبتها.

*لم يكن ممكنا بدون هذه الموارد:

  • دعونا نبني محرك بحث كامل النص
  • استكشاف memtables
  • hraftd
  • العوالم الصغيرة الصالحة للملاحة
  • استرجاع المعلومات تنفيذ وتقييم محركات البحث
  • الخدمات الموزعة مع GO
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل