mettis

MettisDB: Banco de dados de vetor de Lite distribuído construído a partir de *Scratch.

O que faz:

• Pesquisa de texto completo usando a classificação de proximidade
• Pesquisa semântica via HNSW + Cosseno Distância
• Serviço de incorporação de texto básico integrado (Python HTTP API em torno de um transformador de frase)
• Fusão de classificação recíproca por fusão de texto completo + resultados de pesquisa semântica
• Serviço na memória + persistência do disco
• tolerância a falhas com replicação do segmento usando a jangada

O que não é:

• Pronto de produção (o código é bonito agora)
• Perfeito (porque inimigo do bem)

Arquitetura

Começando

Instale as dependências para o serviço básico de incorporação de texto na pasta third_party usando PIP.

pip install -r requirements.txt

Em seguida, inicie o serviço assim:

uvicorn main:app

Defina uma variável de ambiente EmbeddingHost o que aponta para o endereço do serviço de incorporação

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

Prossiga para iniciar instâncias (s) do (s) db de vetor

bandeiras

• httpaddr: endereço do serviço de API HTTP
• Joinaddr: Endereço de serviço da API HTTP do nó primário para ingressar
• Nodeid: identificador exclusivo para o nó
• RAFTADDR: Endereço da jangada para o nó

Execute um único nó

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

Post /índice

indexem um documento

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} ' 

Obtenha /Pesquise

Faça uma pesquisa

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} ' 

Execute o cluster de 3 nós

Execute os comandos abaixo em diferentes máquinas (pelo menos diferentes instâncias do projeto para simular)

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

As réplicas ingressam na primária em 127.0.0.1:9000

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111

go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

PENDÊNCIA

• Indexação
  • Indexação simultânea usando goroutines para processar termos
• Recuperação
  • Consultas booleanas
  • Pesquisa memorável simultânea
• Ranking
• API
  • Índice em massa
  • Exclusão de documentos
• Armazenar
  • Compactação de segmento
• Replicação
  • Snapshot funcionando?
• Implantação
  • Contêinerização
• Qualidade de código
  • Penitência por todas as atrocidades que cometi.

*Não teria sido possível sem esses recursos:

• Vamos construir um mecanismo de pesquisa de texto completo
• Explorando memitáveis
• Hraftd
• Pequenos mundos de navegação hierárquica
• Recuperação de informações Implementação e avaliação de mecanismos de pesquisa
• Serviços distribuídos com Go