Context based document search

상황에 맞는 문서 검색

이 프로젝트는 벡터 데이터베이스에 저장된 문서에서 컨텍스트 기반 검색을 수행하기위한 시스템을 제공합니다. OpenAI의 임베딩 모델 및 크로마를 사용 하여이 도구를 사용하면 텍스트 문서 모음을 효율적으로 검색하고 주어진 쿼리를 기반으로 가장 관련성이 가장 높은 결과를 검색 할 수 있습니다.

특징

• 지정된 디렉토리에 저장된 문서의 자동 벡터 임베딩 생성.
• 가장 맥락 적으로 관련된 문서를 찾는 사용하기 쉬운 검색 기능.
• Chroma를 사용하여 지속적인 벡터 저장 공간으로 데이터베이스의 원활한 로딩 및 업데이트가 가능합니다.

전제 조건

• 파이썬 3.7 이상

• Openai API 키

• 실행하여 필요한 패키지를 설치하십시오.

  pip install -r requirements.txt

  설치

1. 저장소 복제 :

   git clone https://github.com/your-username/contextual-documents-search.git

2. 프로젝트 디렉토리로 이동하십시오.

    cd contextual-documents-search

3. 가상 환경을 설정합니다 (선택 사항이지만 권장) :

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. 종속성 설치 :

   pip install -r requirements.txt

5. 환경 변수를 설정하십시오. 프로젝트 루트에서 .env 파일을 만들고 OpenAI API 키를 추가하십시오.

   OPENAI_API_KEY = your_openai_api_key

용법

벡터 데이터베이스 초기화 및 쿼리

1. 검색하려는 .txt 파일 디렉토리를 준비하여 ./resumes 폴더에 배치하거나 코드에 다른 디렉토리를 지정하십시오.

2. 기본 스크립트에서 VectorDBHandler 클래스를 인스턴스화하고 load_or_create_db() 호출하여 벡터 저장소를 초기화하십시오.

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )