efficient document search and summarization engine

효율적인 문서 검색 및 요약 엔진

개요

효율적인 문서 검색 및 요약 엔진은 ChatGPT 및 LLAMA와 같은 고급 대형 언어 모델 (LLM)을 통합하여 연구 효율성과 명확성을 향상 시키도록 설계된 강력한 도구입니다. 이 프로젝트는 최첨단 기술을 활용하여 원활하고 효율적인 문서 검색 및 요약 경험을 제공합니다.

특징

• LLM 통합 : 주요 LLM을 활용하여 연구 결과를 요약하고 연구 결과의 효율성과 명확성을 향상시킵니다.
• RESTFUL API : 문서 및 쿼리 검색을위한 강력한 API를 제공하여 최적화되고 정확한 검색 결과를 보장합니다.
• 벡터 데이터베이스 : 효율적인 저장 및 검색을위한 벡터 데이터베이스를 구현하여 검색 성능을 향상시킵니다.
• 고급 알고리즘 : 정확한 텍스트 추출 및 쿼리 일치를 보장하기 위해 코사인 유사성 및 K- 평균 클러스터링을 적용합니다.

사용 된 기술

• 파이썬 : 개발을위한 핵심 프로그래밍 언어.
• Fastapi : RESTFUL API를 구축하기위한 프레임 워크.
• Langchain : 언어 모델을 통합하기위한 도구 체인.
• MongoDB : 문서 및 메타 데이터 저장을위한 데이터베이스.
• PENECONE : 최적화 된 쿼리 스토리지 및 검색을위한 벡터 데이터베이스.

설치

로컬로 프로젝트를 설정하려면 다음 단계를 따르십시오.

1. 저장소 복제 :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. 가상 환경 생성 :

   python -m venv venv
   source venv/bin/activate

3. 종속성 설치 :

   pip install -r requirements.txt

4. 환경 변수 설정 : 루트 디렉토리에서 .env 파일을 만들고 구성 설정을 추가하십시오.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. 응용 프로그램 실행 :

   uvicorn main:app --reload

용법

API 문서

Swagger를 사용하여 API 문서 및 자세한 내용은 액세스 할 수 있습니다. 응용 프로그램이 실행되면 http://localhost:8000/docs 로 이동하여 API 엔드 포인트를 탐색하고 상호 작용하십시오.