pg vector embed rust

PG 벡터 임베딩 및 쿼리 녹

이 저장소에는 벡터 임베딩을 관리하고 PostgreSQL 지원 벡터 데이터베이스를 사용하여 쿼리하기위한 Rust 기반 시스템이 포함되어 있습니다. 이 시스템은 임베딩 생성, 스토리지 및 쿼리를 처리하도록 설계되었습니다.

목차

• 개요
• 특징
• 디렉토리 구조
• 시작하기
  • 전제 조건
  • 설치
  • 응용 프로그램 실행
• 용법
  • 명령
  • 구성
  • 임베딩 및 쿼리
• 테스트
• 기여
• 특허

개요

이 시스템은 임베딩 및 쿼리 프로세스의 다양한 측면을 처리하는 여러 모듈로 구성됩니다.

• 명령 : 명령 줄 인수 및 하위 명령을 처리합니다.
• 구성 : 요청 및 데이터베이스 연결을 포함시키기위한 구성 설정을 관리합니다.
• 상수 : 애플리케이션 전반에 걸쳐 사용되는 상수 값을 제공합니다.
• 임베딩 : 임베딩을 생성하고 데이터베이스에 지속시키는 논리가 포함되어 있습니다.
• vectordb : 벡터 임베딩을 저장하고 쿼리하기 위해 PostgreSQL 데이터베이스와의 상호 작용을 처리합니다.

특징

• 임베딩 생성 : 입력 데이터에서 벡터 임베딩을 생성합니다.
• 데이터베이스 지속성 : PostgreSQL 데이터베이스에 내장을 저장합니다.
• 쿼리 : 데이터베이스를 쿼리하여 벡터 임베드를 기반으로 가장 가까운 이웃을 찾으십시오.

디렉토리 구조

 src/
├── app/
│   ├── commands.rs
│   ├── config.rs
│   └── constants.rs
├── embedding/
│   ├── run_embedding.rs
│   └── vector_embedding.rs
├── main.rs
├── tests/
│   ├── setup_docker.rs
│   ├── test_pgclient.rs
│   ├── test_query_vector.rs
│   ├── test_run_embedding.rs
│   └── test_vector_embedding.rs
├── vectordb/
│   ├── pg_vector.rs
│   └── query_vector.rs
├── lib.rs
├── vectordb/mod.rs
├── tests/mod.rs
├── embedding/mod.rs
└── app/mod.rs

시작하기

전제 조건

• Rust (최신 안정 버전)
• Postgresql 벡터 db.
• Docker (실행 시험)
• nomic-embed-text 또는 유사한 모델을 갖춘 활성 올라마 서비스.

설치

1. 저장소 복제 :

   git clone https://github.com/rupeshtr78/pg-vector-embed-rust.git
   cd pg-vector-embed-rust

2. 종속성 설치 :

   cargo build

응용 프로그램 실행

1. PostgreSQL 벡터 데이터베이스를 시작하십시오 (아직 실행되지 않은 경우).

2. Ollama Service는 지정된 모델로 실행해야합니다.

3. 응용 프로그램 실행 :

   cargo run
      
   

용법

명령

이 응용 프로그램은 다양한 명령 및 하위 명령을 지원합니다. --help 플래그를 사용하여 사용 가능한 옵션을보십시오.

   cargo run -- --help
   cargo run -- write --input " dog sound is called bark " --input " cat sounds is called purr " --model " nomic-embed-text " --table " from_rust2 " --dim 768 --log-level " debug "
   cargo run -- query --input " who is barking " --model " nomic-embed-text " --table " from_rust2 "  

구성

요청 및 데이터베이스 연결을 포함시키기위한 구성 설정은 src/app/config.rs 에서 관리됩니다. 필요에 따라 이러한 설정을 수정할 수 있습니다.

임베딩 및 쿼리

• 임베딩 생성 : run_embedding 함수를 사용하여 임베딩을 생성하고 데이터베이스에 유지합니다.
• 쿼리 임베딩 : run_query 함수를 사용하여 벡터 임베드를 기반으로 가장 가까운 이웃의 데이터베이스를 쿼리하십시오.

테스트

저장소에는 시스템 기능이 올바르게 작동하는지 확인하기위한 포괄적 인 테스트 제품군이 포함되어 있습니다. 테스트를 실행하려면 :

cargo test 

기여

기부금을 환영합니다! 이 프로젝트에 기여하는 방법에 대한 자세한 내용은 Contributing.md 파일을 읽으십시오.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

---

특정 요구 사항과 프로젝트 세부 사항에 따라이 readme를 추가로 사용자 정의하십시오.