efficient document search and summarization engine

有效的文檔搜索和匯總引擎

概述

高效的文檔搜索和匯總引擎是一種強大的工具，旨在通過整合高級大語言模型（LLM）（例如Chatgpt和Llama）來提高研究效率和清晰度。該項目利用尖端技術提供無縫有效的文檔搜索和匯總經驗。

特徵

• LLM集成：利用領先的LLM來總結研究結果，從而提高了研究成果的效率和清晰度。
• RESTFUL API ：為文檔和查詢檢索提供強大的API，以確保優化和準確的搜索結果。
• 向量數據庫：實現矢量數據庫，以進行有效的存儲和檢索，從而提高搜索性能。
• 高級算法：應用餘弦相似性和K-均值聚類，以確保精確的文本提取和查詢匹配。

使用的技術

• Python ：開發的核心編程語言。
• FastAPI ：構建RESTFUL API的框架。
• Langchain ：用於集成語言模型的工具鏈。
• MongoDB ：用於存儲文檔和元數據的數據庫。
• Pinecone ：用於優化查詢存儲和檢索的矢量數據庫。

安裝

要在本地設置項目，請按照以下步驟：

1. 克隆存儲庫：

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. 創建虛擬環境：

   python -m venv venv
   source venv/bin/activate

3. 安裝依賴項：

   pip install -r requirements.txt

4. 設置環境變量：在根目錄中創建.env文件並添加您的配置設置。

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. 運行應用程序：

   uvicorn main:app --reload

用法

API文檔

可以使用Swagger訪問API文檔和更多詳細信息。應用程序運行後，導航到http://localhost:8000/docs以探索和與API端點進行交互。