mettis

METTISDB: base de datos de vector de lite distribuida construida desde *scratch.

Lo que hace:

• Búsqueda de texto completo utilizando la clasificación de proximidad
• Búsqueda semántica a través de HNSW + Cosine Distancia
• Servicio de incrustación de texto básico integrado (API de Python HTTP alrededor de un transformador de oraciones)
• Fusión de rango recíproco para fusionar los resultados de texto completo + Semántico de búsqueda
• Servicio en memoria + persistencia de disco
• tolerancia a fallas con replicación del segmento usando balsa

Lo que no es:

• listo para la producción (el código es bastante suss en este momento)
• Perfecto (porque enemigo del bien)

Arquitectura

Empezando

Instale las dependencias para el servicio básico de incrustación de texto en la carpeta third_party usando PIP.

pip install -r requirements.txt

Luego comience el servicio así:

uvicorn main:app

Establezca una variable de entorno EmbeddingHost que apunte a la dirección del servicio de incrustación

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

Proceda a iniciar instancias del Vector DB

banderas

• httpaddr: dirección del servicio de API HTTP
• JoinAddr: Dirección de servicio de API HTTP del nodo primario para unirse
• nodeid: identificador único para nodo
• RaftaDDR: dirección de balsa para nodo

Ejecutar un solo nodo

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

Post /índice

indexar un documento

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} ' 

Obtener /buscar

hacer una búsqueda

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} ' 

Ejecutar clúster de 3 nodos

Ejecute los comandos a continuación en diferentes máquinas (al menos diferentes instancias del proyecto para simular)

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

Las réplicas se unen a la primaria el 127.0.0.1:9000

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111

go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

HACER

• Indexación
  • Indexación concurrente utilizando goroutinas para procesar términos
• Recuperación
  • Consultas booleanas
  • Búsqueda de memtables concurrentes
• Categoría
• API
  • Índice a granel
  • Eliminación de documentos
• Almacenamiento
  • Compactación de segmento
• Replicación
  • Instantánea funcionando?
• Despliegue
  • Contenedor
• Calidad del código
  • Penitencia para todas las atrocidades que cometí.

*No hubiera sido posible sin estos recursos:

• Construyamos un motor de búsqueda de texto completo
• Explorando memtables
• hraftd
• Mundos jerárquicos navegables pequeños
• Implementación de recuperación de información y evaluación de motores de búsqueda
• Servicios distribuidos con GO