client vector search

العميل والمستهلك البحث

مكتبة البحث على جانب العميل التي يمكن أن تضمن ، والبحث ، وذاكرة التخزين المؤقت. يعمل على المتصفح وجانب الخادم.

يتفوق على Openai من embedding-ada-002 من Openai وأسرع بكثير من Pinecone وغيرها من Vectordbs.

أنا مؤسس SearchBase.App ونحن بحاجة إلى ذلك لمنتجاتنا وعملائنا. سنستخدم هذه المكتبة في الإنتاج. يمكنك التأكد من أنه سيتم الحفاظ عليه وتحسينه.

• تضمين المستندات باستخدام Transformers افتراضيًا: GTE-Small (حوالي 30 ميجابايت).
• حساب تشابه جيب التمام بين التضمينات.
• قم بإنشاء فهرس وبحث على جانب العميل
• ناقلات ذاكرة التخزين المؤقت مع دعم التخزين المؤقت للمتصفح.

الكثير من التحسينات قادمة!

خريطة الطريق

هدفنا هو بناء بحث متجه سريع وسريع للغاية يعمل مع بضع مئات إلى آلاف المتجهات. ~ 1K ناقلات لكل مستخدم يغطي 99 ٪ من حالات الاستخدام.

سنبقي في البداية الأشياء بسيطة للغاية و 100 مللي ثانية

تودوس

• إضافة فهرس HNSW الذي يعمل على العقدة و Browser Env ، لا تعتمد على HNSW Binder libs
• أضف جناح اختبار مناسب و CI/CD لـ LIB
  • اختبارات صحية بسيطة
    • سخرية @Xenova/Transformers لـ Jest ، ليس سعيدًا بها
  • اختبارات الأداء ، استدعاء ، استخدام الذاكرة ، استخدام وحدة المعالجة المركزية وما إلى ذلك.

تثبيت

npm i client-vector-search

Quickstart

توفر هذه المكتبة حلاً توصيلًا ولعبًا للتضمين والبحث في المتجهات. إنه مصمم ليكون سهل الاستخدام ، وفعال ، ومتعدد الاستخدامات. إليك دليل البدء السريع:

  import { getEmbedding , EmbeddingIndex } from 'client-vector-search' ;

  // getEmbedding is an async function, so you need to use 'await' or '.then()' to get the result
  const embedding = await getEmbedding ( "Apple" ) ; // Returns embedding as number[]

  // Each object should have an 'embedding' property of type number[]
  const initialObjects = [
  { id : 1 , name : "Apple" , embedding : embedding } ,
  { id : 2 , name : "Banana" , embedding : await getEmbedding ( "Banana" ) } ,
  { id : 3 , name : "Cheddar" , embedding : await getEmbedding ( "Cheddar" ) } ,
  { id : 4 , name : "Space" , embedding : await getEmbedding ( "Space" ) } ,
  { id : 5 , name : "database" , embedding : await getEmbedding ( "database" ) } ,
  ] ;
  const index = new EmbeddingIndex ( initialObjects ) ; // Creates an index

  // The query should be an embedding of type number[]
  const queryEmbedding = await getEmbedding ( 'Fruit' ) ; // Query embedding
  const results = await index . search ( queryEmbedding , { topK : 5 } ) ; // Returns top similar objects

  // specify the storage type
  await index . saveIndex ( 'indexedDB' ) ;
  const results = await index . search ( [ 1 , 2 , 3 ] , {
    topK : 5 ,
    useStorage : 'indexedDB' ,
    // storageOptions: { // use only if you overrode the defaults
    //   indexedDBName: 'clientVectorDB',
    //   indexedDBObjectStoreName: 'ClientEmbeddingStore',
    // },
  } ) ;

  console . log ( results ) ;

  await index . deleteIndexedDB ( ) ; // if you overrode default, specify db name 

تصوير المتاعب

NextJS

لاستخدامه داخل مشاريع NextJS ستحتاج إلى تحديث ملف next.config.js لتضمين ما يلي:

 module . exports = {
  // Override the default webpack configuration
  webpack : ( config ) => {
    // See https://webpack.js.org/configuration/resolve/#resolvealias
    config . resolve . alias = {
      ... config . resolve . alias ,
      sharp$ : false ,
      "onnxruntime-node$" : false ,
    } ;
    return config ;
  } ,
} ; 

يتم تحميل نموذج تحميل بعد الصفحة

يمكنك تهيئة النموذج قبل استخدامه لإنشاء التضمينات. سيضمن ذلك تحميل النموذج قبل استخدامه وتوفير UX أفضل.

 import { initializeModel } from "client-vector-search"
. . .
  useEffect ( ( ) => {
    try {
      initializeModel ( ) ;
    } catch ( e ) {
      console . log ( e ) ;
    }
  } , [ ] ) ; 

دليل الاستخدام

يوفر هذا الدليل تجولًا خطوة بخطوة للميزات الرئيسية للمكتبة. ويغطي كل شيء من توليد التضمينات إلى سلسلة إلى عمليات تنفيذ على الفهرس مثل إضافة الكائنات وتحديثها وإزالتها. ويتضمن أيضًا تعليمات حول كيفية حفظ الفهرس في قاعدة بيانات وإجراء عمليات البحث داخله.

حتى يكون لدينا وثائق مرجعية ، يمكنك العثور على جميع الأساليب واستخدامها في هذا الدليل. يرافق كل خطوة مقتطف رمز لتوضيح استخدام الطريقة المعنية. تأكد من المتابعة وتجربة الأمثلة في بيئتك الخاصة للحصول على فهم أفضل لكيفية عمل كل شيء.

لنبدأ!

الخطوة 1: إنشاء تضمينات للسلسلة

إنشاء التضمينات لسلسلة معينة باستخدام طريقة getEmbedding .

 const embedding = await getEmbedding ( "Apple" ) ; // Returns embedding as number[]

ملاحظة : getEmbedding غير متزامن. تأكد من استخدام await .

---

الخطوة 2: حساب تشابه جيب التمام

حساب تشابه جيب التمام بين اثنين من التضمين.

 const similarity = cosineSimilarity ( embedding1 , embedding2 , 6 ) ;

ملاحظة : يجب أن يكون كلا التضمين من نفس الطول.

---

الخطوة 3: إنشاء فهرس

إنشاء فهرس مع مجموعة أولية من الكائنات. يجب أن يكون لكل كائن خاصية "تضمين".

 const initialObjects = [ ... ] ;
const index = new EmbeddingIndex ( initialObjects ) ;

---

الخطوة 4: أضف إلى الفهرس

إضافة كائن إلى الفهرس.

 const objectToAdd = { id : 6 , name : 'Cat' , embedding : await getEmbedding ( 'Cat' ) } ;
index . add ( objectToAdd ) ;

---

الخطوة 5: فهرس التحديث

تحديث كائن موجود في الفهرس.

 const vectorToUpdate = { id : 6 , name : 'Dog' , embedding : await getEmbedding ( 'Dog' ) } ;
index . update ( { id : 6 } , vectorToUpdate ) ;

---

الخطوة 6: إزالة من الفهرس

إزالة كائن من الفهرس.

 index . remove ( { id : 6 } ) ;

---

الخطوة 7: استرداد من الفهرس

استرداد كائن من الفهرس.

 const vector = index . get ( { id : 1 } ) ;

---

الخطوة 8: ابحث في الفهرس

ابحث في الفهرس مع استفسار تضمين.

 const queryEmbedding = await getEmbedding ( 'Fruit' ) ;
const results = await index . search ( queryEmbedding , { topK : 5 } ) ;

---

الخطوة 9: طباعة الفهرس

اطبع الفهرس بأكمله إلى وحدة التحكم.

 index . printIndex ( ) ;

---

الخطوة 10: حفظ الفهرس إلى مفهرس (للمستعرض)

احفظ الفهرس إلى قاعدة بيانات INSTINGEDDB المستمرة. ملحوظة

 await index . saveIndex ( "indexedDB" , { DBName : "clientVectorDB" , objectStoreName : "ClientEmbeddingStore" } )

---

هام: البحث في الفهرسة

إجراء عملية بحث في indexedDB.

 const results = await index . search ( queryEmbedding , {
  topK : 5 ,
  useStorage : "indexedDB" ,
  storageOptions : { // only if you want to override the default options, defaults are below
    indexedDBName : 'clientVectorDB' ,
    indexedDBObjectStoreName : 'ClientEmbeddingStore'
  }
} ) ;

-- -

### Delete Database
To delete an entire database .

`` ` ts
await IndexedDbManager . deleteIndexedDB ( "clientVectorDB" ) ;

---

حذف متجر الكائن

لحذف متجر كائن من قاعدة بيانات.

 await IndexedDbManager . deleteIndexedDBObjectStore ( "clientVectorDB" , "ClientEmbeddingStore" ) ;

---

استرداد جميع الأشياء

لاسترداد جميع الكائنات من متجر كائن معين.

 const allObjects = await IndexedDbManager . getAllObjectsFromIndexedDB ( "clientVectorDB" , "ClientEmbeddingStore" ) ;