mettis

Mettisdb: Распределенная векторная база данных Lite, построенная из *царапины.

Что он делает:

• Полнотекстовый поиск с использованием ранжирования близости
• Семантический поиск через HNSW + косинусное расстояние
• Интегрированный базовый текстовый встроенный сервис (Python HTTP API вокруг трансформатора предложения)
• Взаимное слияние ранга для слияния полнотекстовых + семантических результатов поиска
• в памяти. Служба + настойчивость диска
• неисправность с репликацией сегмента с использованием RAFT

Что это не так:

• готовый к производству (код довольно SUS прямо сейчас)
• Идеально (потому что враг хорошего)

Архитектура

Начиная

Установите зависимости для базовой службы встраивания текста в папке third_party с помощью PIP.

pip install -r requirements.txt

Затем запустите сервис так:

uvicorn main:app

Установите переменную среды EmbeddingHost , которая указывает на адрес службы встраивания

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

Перейдите к началу экземпляра (ы) вектора DB

флаги

• httpaddr: адрес службы HTTP API
• JoinAddr: HTTP API -адрес первичного узла для присоединения
• Университет: уникальный идентификатор для узла
• Raftaddr: адрес плота для узла

Запустить один узел

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

Post /index

Индексировать документ

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} ' 

Получить /Поиск

Сделайте поиск

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} ' 

Запустите 3-узловый кластер

Запустите команды ниже на разных машинах (по крайней мере, разные случаи проекта для моделирования)

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

Replicas присоединяйтесь к первичному на 127.0.0.1:9000

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111

go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

Тодо

• Индексация
  • Одновременная индексация с использованием goroutines для обработки терминов
• Поиск
  • Логические запросы
  • Одновременный мемкарный поиск
• Рейтинг
• API
  • Объемный индекс
  • Удаление документа
• Хранилище
  • Уплотнение сегмента
• Репликация
  • Снимок работы?
• Развертывание
  • Контейнеризация
• Качество кода
  • Покаяние за все зверства, которые я совершил.

*Не было бы возможно без этих ресурсов:

• Давайте создадим полнотекстовую поисковую систему
• Изучение Мемтабли
• Hraftd
• Иерархические судоходные маленькие миры
• Информационная поиск реализации и оценки поисковых систем
• Распределенные услуги с Go