memista

Memista : 고성능 벡터 검색 서비스

Memista는 Rust로 작성된 고성능 벡터 검색 서비스로 관련 벡터 임베딩으로 텍스트 청크를 저장하고 검색하기위한 간단한 HTTP API를 제공합니다. 메타 데이터 스토리지 용 SQLITE와 효율적인 벡터 유사성 검색을위한 연구와 결합합니다.

특징

• usearch를 사용한 빠른 벡터 유사성 검색
• SQLITE에서 텍스트 청크 및 메타 데이터의 지속적인 저장
• Database_ID 파티셔닝을 통한 다중 데이터베이스 지원
• 여러 UI 옵션이있는 OpenApi 문서 (Swagger, Redoc, Rapidoc)
• 환경 변수를 통해 구성 가능합니다
• 고성능을위한 비동기 I/O

API 엔드 포인트

Post /V1 /Insert

임베딩이 지정된 데이터베이스에 텍스트 청크를 삽입하십시오.

게시 /v1 /검색

벡터 임베딩을 사용하여 유사한 청크를 검색하십시오.

/v1 /드롭을 삭제합니다

특정 데이터베이스 및 관련 벡터 인덱스를 삭제하십시오.

구성

서비스는 환경 변수를 사용하여 구성 할 수 있습니다.

• DATABASE_PATH : sqlite 데이터베이스 파일로가는 경로 (기본값 : "memista.db")
• SERVER_HOST : 바인딩 할 호스트 주소 (기본값 : "127.0.0.1")
• SERVER_PORT : Port to Listen (기본값 : 8083)
• LOG_LEVEL : 로깅 레벨 (기본값 : "정보")

빠른 시작

1. 녹과화물을 설치하십시오
2. 이 저장소를 복제하십시오
3. 구성으로 .env 파일 생성 (선택 사항)
4. 서버 실행 :

cargo run

서버가 시작되고 API 문서는 다음과 같이 사용할 수 있습니다.

• Swagger UI : http : // localhost : 8083/swagger
• Redoc : http : // localhost : 8083/Redoc
• Rapidoc : http : // localhost : 8083/rapidoc
• OpenApi JSON : http : // localhost : 8083/openapi.json

예제 사용

청크를 삽입하십시오

curl -X POST http://localhost:8083/v1/insert 
  -H " Content-Type: application/json " 
  -d ' {
    "database_id": "my_db",
    "chunks": [{
      "embedding": [0.1, 0.2],
      "text": "Sample text",
      "metadata": "{"source": "document1"}"
    }]
  } '

검색 청크

curl -X POST http://localhost:8083/v1/search 
  -H " Content-Type: application/json " 
  -d ' {
    "database_id": "my_db",
    "embeddings": [[0.1, 0.2]],
    "num_results": 5
  } ' 

의존성

이 프로젝트는 몇 가지 주요 종속성을 사용합니다.

• Actix-Web : 웹 프레임 워크
• usearch : 벡터 유사성 검색
• Async-sqlite : Async Sqlite 데이터베이스 인터페이스
• Apistos : OpenApi 문서 생성
• Serde : 직렬화/사막화

전체 종속성 목록은 Cargo.toml 파일을 참조하십시오.

특허

이 프로젝트는 GNU General Public License v3.0 (GPL -3.0)에 따라 라이센스가 부여됩니다. 요약은 다음을 참조하십시오.

GNU General Public License v3.0 (GPL-3.0)

권한 :

• 상업적 사용
• 분포
• 가감
• 특허 사용
• 사용

정황:

• 소스를 공개하십시오
• 라이센스 및 저작권 통지
• 동일한 라이센스
• 상태 변경

제한 사항 :

• 책임
• 보증

전체 라이센스 텍스트는 라이센스를 참조하거나 https://www.gnu.org/licenses/gpl-3.0.en.html을 방문하십시오.

? 연락하다

[email protected]