mettis

MetTISDB : *스크래치에서 구축 된 분산 라이트 벡터 데이터베이스.

그것이하는 일 :

• 근접 순위를 사용한 전체 텍스트 검색
• HNSW + 코사인 거리를 통한 시맨틱 검색
• 통합 기본 텍스트 임베딩 서비스 (문장 변압기 주변의 Python HTTP API)
• 전체 텍스트 + 시맨틱 검색 결과를 병합하기위한 상호 순위 퓨전
• 메모리 내 서빙 + 디스크 지속성
• RAFT를 사용한 세그먼트 복제와 오류가 발생합니다

그렇지 않은 것 :

• Production-Ready (코드는 지금 꽤 SUS)
• 완벽한 (적의 적 때문에)

건축학

시작하기

PIP를 사용하여 third_party 폴더에 기본 텍스트 임베딩 서비스의 종속성을 설치하십시오.

pip install -r requirements.txt

그런 다음 서비스를 시작하십시오.

uvicorn main:app

Embedding Service의 주소를 가리키는 환경 가변 EmbeddingHost 설정하십시오.

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

벡터 DB의 인스턴스를 시작하십시오

깃발

• HTTPADDR : HTTP API 서비스의 주소
• JoinAddr : Join 기본 노드의 HTTP API 서비스 주소
• NodeID : 노드의 고유 식별자
• Raftaddr : 노드 용 래프트 주소

단일 노드를 실행하십시오

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

게시물 /색인

문서를 색인하십시오

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} ' 

GET /SEARCH

검색하십시오

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} ' 

3 노드 클러스터를 실행하십시오

다른 기계에서 아래 명령을 실행하십시오 (시뮬레이션 할 프로젝트의 적어도 다른 사례)

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

복제본은 127.0.0.1:9000 의 1 차에 합류합니다

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111

go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

TODO

• 인덱싱
  • 용어를 처리하기 위해 고 루틴을 사용한 동시 인덱싱
• 검색
  • 부울 쿼리
  • 동시에 기억할 수있는 검색
• 순위
• API
  • 벌크 인덱스
  • 문서 삭제
• 저장
  • 세그먼트 압축
• 복제
  • 스냅 샷 작동?
• 전개
  • 컨테이너 화
• 코드 품질
  • 내가 저지른 모든 잔학 행위에 대한 참회.

*이러한 리소스 없이는 불가능했을 것입니다.

• 전체 텍스트 검색 엔진을 구축합시다
• Memtables 탐험
• hraftd
• 계층 적 항해 가능한 작은 세계
• 정보 검색 검색 엔진 구현 및 평가
• GO와 함께 분산 서비스