client vector search
1.0.0
Uma biblioteca de pesquisa de vetores do lado que pode incorporar, pesquisar e cache. Funciona no navegador e no lado do servidor.
Ele supera o texto-Ada-Ada-002 do OpenAI e é muito mais rápido que o Pinecone e outros Vecordbs.
Sou o fundador da SearchBase.App e precisávamos disso para nossos produtos e clientes. Usaremos esta biblioteca em produção. Você pode ter certeza de que será mantido e aprimorado.
Muitas melhorias estão chegando!
Nosso objetivo é criar uma pesquisa de vetores super simples e rápida que funcione com centenas a milhares de vetores. ~ 1K Vetores por usuário cobre 99% dos casos de uso.
Inicialmente, manteremos as coisas super simples e sub 100ms
npm i client-vector-searchEsta biblioteca fornece uma solução plug-and-play para incorporação e pesquisa de vetores. Ele foi projetado para ser fácil de usar, eficiente e versátil. Aqui está um guia de início rápido:
import { getEmbedding , EmbeddingIndex } from 'client-vector-search' ;
// getEmbedding is an async function, so you need to use 'await' or '.then()' to get the result
const embedding = await getEmbedding ( "Apple" ) ; // Returns embedding as number[]
// Each object should have an 'embedding' property of type number[]
const initialObjects = [
{ id : 1 , name : "Apple" , embedding : embedding } ,
{ id : 2 , name : "Banana" , embedding : await getEmbedding ( "Banana" ) } ,
{ id : 3 , name : "Cheddar" , embedding : await getEmbedding ( "Cheddar" ) } ,
{ id : 4 , name : "Space" , embedding : await getEmbedding ( "Space" ) } ,
{ id : 5 , name : "database" , embedding : await getEmbedding ( "database" ) } ,
] ;
const index = new EmbeddingIndex ( initialObjects ) ; // Creates an index
// The query should be an embedding of type number[]
const queryEmbedding = await getEmbedding ( 'Fruit' ) ; // Query embedding
const results = await index . search ( queryEmbedding , { topK : 5 } ) ; // Returns top similar objects
// specify the storage type
await index . saveIndex ( 'indexedDB' ) ;
const results = await index . search ( [ 1 , 2 , 3 ] , {
topK : 5 ,
useStorage : 'indexedDB' ,
// storageOptions: { // use only if you overrode the defaults
// indexedDBName: 'clientVectorDB',
// indexedDBObjectStoreName: 'ClientEmbeddingStore',
// },
} ) ;
console . log ( results ) ;
await index . deleteIndexedDB ( ) ; // if you overrode default, specify db name Para usá -lo nos projetos NextJS, você precisará atualizar o arquivo next.config.js para incluir o seguinte:
module . exports = {
// Override the default webpack configuration
webpack : ( config ) => {
// See https://webpack.js.org/configuration/resolve/#resolvealias
config . resolve . alias = {
... config . resolve . alias ,
sharp$ : false ,
"onnxruntime-node$" : false ,
} ;
return config ;
} ,
} ; Você pode inicializar o modelo antes de usá -lo para gerar incorporação. Isso garantirá que o modelo seja carregado antes de usá -lo e fornecer um UX melhor.
import { initializeModel } from "client-vector-search"
. . .
useEffect ( ( ) => {
try {
initializeModel ( ) ;
} catch ( e ) {
console . log ( e ) ;
}
} , [ ] ) ; Este guia fornece um passo a passo passo a passo dos principais recursos da biblioteca. Ele abrange tudo, desde a geração de incorporações para uma string até a execução de operações no índice, como adicionar, atualizar e remover objetos. Ele também inclui instruções sobre como salvar o índice em um banco de dados e executar operações de pesquisa nele.
Até termos uma documentação de referência, você pode encontrar todos os métodos e seu uso neste guia. Cada etapa é acompanhada por um trecho de código para ilustrar o uso do método em questão. Certifique -se de seguir adiante e experimente os exemplos em seu próprio ambiente para entender melhor como tudo funciona.
Vamos começar!
Gere incorporação para uma determinada string usando o método getEmbedding .
const embedding = await getEmbedding ( "Apple" ) ; // Returns embedding as number[]Nota :
getEmbeddingé assíncrono; Certifique -se de usarawait.
Calcule a similaridade de cosseno entre duas incorporações.
const similarity = cosineSimilarity ( embedding1 , embedding2 , 6 ) ;Nota : Ambas as incorporações devem ter o mesmo comprimento.
Crie um índice com uma matriz inicial de objetos. Cada objeto deve ter uma propriedade 'incorporação'.
const initialObjects = [ ... ] ;
const index = new EmbeddingIndex ( initialObjects ) ;Adicione um objeto ao índice.
const objectToAdd = { id : 6 , name : 'Cat' , embedding : await getEmbedding ( 'Cat' ) } ;
index . add ( objectToAdd ) ;Atualize um objeto existente no índice.
const vectorToUpdate = { id : 6 , name : 'Dog' , embedding : await getEmbedding ( 'Dog' ) } ;
index . update ( { id : 6 } , vectorToUpdate ) ;Remova um objeto do índice.
index . remove ( { id : 6 } ) ;Recuperar um objeto do índice.
const vector = index . get ( { id : 1 } ) ;Pesquise o índice com uma consulta incorporada.
const queryEmbedding = await getEmbedding ( 'Fruit' ) ;
const results = await index . search ( queryEmbedding , { topK : 5 } ) ;Imprima todo o índice para o console.
index . printIndex ( ) ;Salve o índice em um banco de dados IndexedDB persistente. Observação
await index . saveIndex ( "indexedDB" , { DBName : "clientVectorDB" , objectStoreName : "ClientEmbeddingStore" } )Execute uma operação de pesquisa no indexedDB.
const results = await index . search ( queryEmbedding , {
topK : 5 ,
useStorage : "indexedDB" ,
storageOptions : { // only if you want to override the default options, defaults are below
indexedDBName : 'clientVectorDB' ,
indexedDBObjectStoreName : 'ClientEmbeddingStore'
}
} ) ;
-- -
### Delete Database
To delete an entire database .
`` ` ts
await IndexedDbManager . deleteIndexedDB ( "clientVectorDB" ) ;Para excluir um armazenamento de objetos de um banco de dados.
await IndexedDbManager . deleteIndexedDBObjectStore ( "clientVectorDB" , "ClientEmbeddingStore" ) ;Para recuperar todos os objetos de um armazenamento de objetos específico.
const allObjects = await IndexedDbManager . getAllObjectsFromIndexedDB ( "clientVectorDB" , "ClientEmbeddingStore" ) ;
