client vector search
1.0.0
Библиотека поиска на стороне клиента, которая может встраивать, поиск и кэш. Работает в браузере и на стороне сервера.
Он превзойдет текстовое вручение в Openai-ADA-002 и намного быстрее, чем PineCone и другие Vectordbs.
Я основатель SearchBase.App, и мы нуждались в этом для нашего продукта и клиентов. Мы будем использовать эту библиотеку в производстве. Вы можете быть уверены, что это будет поддерживаться и улучшить.
Много улучшений наступает!
Наша цель - построить супер простой, быстрый векторный поиск, который работает с парами до тысяч векторов. ~ 1K векторы на пользователя охватывают 99% вариантов использования.
Изначально мы сохраним вещи супер и подразделением 100 мс.
npm i client-vector-searchЭта библиотека обеспечивает решение для подключения и игры для внедрения и векторного поиска. Он разработан, чтобы быть простым в использовании, эффективном и универсальном. Вот быстрое руководство:
import { getEmbedding , EmbeddingIndex } from 'client-vector-search' ;
// getEmbedding is an async function, so you need to use 'await' or '.then()' to get the result
const embedding = await getEmbedding ( "Apple" ) ; // Returns embedding as number[]
// Each object should have an 'embedding' property of type number[]
const initialObjects = [
{ id : 1 , name : "Apple" , embedding : embedding } ,
{ id : 2 , name : "Banana" , embedding : await getEmbedding ( "Banana" ) } ,
{ id : 3 , name : "Cheddar" , embedding : await getEmbedding ( "Cheddar" ) } ,
{ id : 4 , name : "Space" , embedding : await getEmbedding ( "Space" ) } ,
{ id : 5 , name : "database" , embedding : await getEmbedding ( "database" ) } ,
] ;
const index = new EmbeddingIndex ( initialObjects ) ; // Creates an index
// The query should be an embedding of type number[]
const queryEmbedding = await getEmbedding ( 'Fruit' ) ; // Query embedding
const results = await index . search ( queryEmbedding , { topK : 5 } ) ; // Returns top similar objects
// specify the storage type
await index . saveIndex ( 'indexedDB' ) ;
const results = await index . search ( [ 1 , 2 , 3 ] , {
topK : 5 ,
useStorage : 'indexedDB' ,
// storageOptions: { // use only if you overrode the defaults
// indexedDBName: 'clientVectorDB',
// indexedDBObjectStoreName: 'ClientEmbeddingStore',
// },
} ) ;
console . log ( results ) ;
await index . deleteIndexedDB ( ) ; // if you overrode default, specify db name Чтобы использовать его внутри проектов NextJS, вам необходимо обновить файл next.config.js , чтобы включить следующее:
module . exports = {
// Override the default webpack configuration
webpack : ( config ) => {
// See https://webpack.js.org/configuration/resolve/#resolvealias
config . resolve . alias = {
... config . resolve . alias ,
sharp$ : false ,
"onnxruntime-node$" : false ,
} ;
return config ;
} ,
} ; Вы можете инициализировать модель перед использованием ее для генерации встраиваний. Это гарантирует, что модель загружается перед тем, как использовать ее, и обеспечит лучший UX.
import { initializeModel } from "client-vector-search"
. . .
useEffect ( ( ) => {
try {
initializeModel ( ) ;
} catch ( e ) {
console . log ( e ) ;
}
} , [ ] ) ; Это руководство обеспечивает пошаговое прохождение основных функций библиотеки. Он охватывает все, от генерации внедрения для строки до выполнения операций по индексу, таких как добавление, обновление и удаление объектов. Он также включает в себя инструкции о том, как сохранить индекс в базу данных, и выполнить поисковые операции внутри него.
Пока у нас не будет справочной документации, вы можете найти все методы и их использование в этом руководстве. Каждый шаг сопровождается фрагментом кода, чтобы проиллюстрировать использование рассматриваемого метода. Обязательно следуйте и попробуйте примеры в вашей собственной среде, чтобы лучше понять, как все работает.
Начнем!
Создайте встроения для данной строки, используя метод getEmbedding .
const embedding = await getEmbedding ( "Apple" ) ; // Returns embedding as number[]ПРИМЕЧАНИЕ :
getEmbeddingасинхронно; Обязательно используйтеawait.
Рассчитайте сходство косинуса между двумя вставками.
const similarity = cosineSimilarity ( embedding1 , embedding2 , 6 ) ;Примечание . Оба вторжения должны иметь одинаковую длину.
Создайте индекс с начальным массивом объектов. Каждый объект должен иметь свойство «встраивания».
const initialObjects = [ ... ] ;
const index = new EmbeddingIndex ( initialObjects ) ;Добавьте объект в индекс.
const objectToAdd = { id : 6 , name : 'Cat' , embedding : await getEmbedding ( 'Cat' ) } ;
index . add ( objectToAdd ) ;Обновите существующий объект в индексе.
const vectorToUpdate = { id : 6 , name : 'Dog' , embedding : await getEmbedding ( 'Dog' ) } ;
index . update ( { id : 6 } , vectorToUpdate ) ;Удалить объект из индекса.
index . remove ( { id : 6 } ) ;Получить объект из индекса.
const vector = index . get ( { id : 1 } ) ;Поиск индекса с помощью запроса.
const queryEmbedding = await getEmbedding ( 'Fruit' ) ;
const results = await index . search ( queryEmbedding , { topK : 5 } ) ;Распечатайте весь индекс в консоли.
index . printIndex ( ) ;Сохраните индекс в постоянную базу данных IndexedDB. Примечание
await index . saveIndex ( "indexedDB" , { DBName : "clientVectorDB" , objectStoreName : "ClientEmbeddingStore" } )Выполните операцию поиска в IndexedDB.
const results = await index . search ( queryEmbedding , {
topK : 5 ,
useStorage : "indexedDB" ,
storageOptions : { // only if you want to override the default options, defaults are below
indexedDBName : 'clientVectorDB' ,
indexedDBObjectStoreName : 'ClientEmbeddingStore'
}
} ) ;
-- -
### Delete Database
To delete an entire database .
`` ` ts
await IndexedDbManager . deleteIndexedDB ( "clientVectorDB" ) ;Чтобы удалить хранилище объекта из базы данных.
await IndexedDbManager . deleteIndexedDBObjectStore ( "clientVectorDB" , "ClientEmbeddingStore" ) ;Чтобы получить все объекты из определенного магазина объектов.
const allObjects = await IndexedDbManager . getAllObjectsFromIndexedDB ( "clientVectorDB" , "ClientEmbeddingStore" ) ;
