vectorMatch

Docker의 Postgresql 및 포옹 얼굴로 텍스트 임베딩 및 검색

이 프로젝트는 포옹 페이스에서 모델을 사용하여 텍스트를 포함하고 pgvector 확장 기능을 사용하여 PostgreSQL에 포함 된 텍스트를 포함시키는 Python 스크립트를 보여 주며, 임베딩을 비교하여 일반 텍스트 쿼리를 사용하여 데이터베이스를 검색 할 수 있습니다. 데이터를 검색 한 후 LLM은 Ollama와의 응답을 생성하는 데 사용됩니다. 이 프로젝트는 Docker Compose와 함께 운영됩니다

특징

• 임베딩 : Hugging Face의 변압기를 사용하여 입력 텍스트를 포함시킵니다.
• pgvector와 함께 PostgreSQL : pgvector 확장을 사용하여 벡터 기반 검색을 수행하는 PostgreSQL 데이터베이스에 내장을 저장하십시오.
• 검색 기능 : 입력 텍스트의 임베딩을 저장된 임베딩과 비교하여 데이터베이스 항목 검색.
• Docker Support : Docker Compose로 전체 응용 프로그램을 실행하십시오
• Ollama : 로컬 LLM을 기반으로 응답을 생성합니다

전제 조건

다음과 같은 설치가 있는지 확인하십시오.

• 도커

설정

프로젝트 디렉토리를 얻으십시오

 git clone https://github.com/comhendrik/vectorMatch.git

Docker를 시작하고 프로젝트 디렉토리로 이동하여 Compose 파일을 실행하십시오.

 docker compose up

스크립트가 완료 될 때까지 기다리면 몇 분이 걸릴 수 있습니다.

 docker attach vectormatch-vector-match-1