efficient document search and summarization engine

有效的文档搜索和汇总引擎

概述

有效的文档搜索和汇总引擎是一种强大的工具，旨在通过整合高级大语言模型（LLM）（例如Chatgpt和Llama）来提高研究效率和清晰度。该项目利用尖端技术提供无缝有效的文档搜索和汇总经验。

特征

• LLM集成：利用领先的LLM来总结研究结果，从而提高了研究成果的效率和清晰度。
• RESTFUL API ：为文档和查询检索提供强大的API，以确保优化和准确的搜索结果。
• 向量数据库：实现矢量数据库，以进行有效的存储和检索，从而提高搜索性能。
• 高级算法：应用余弦相似性和K-均值聚类，以确保精确的文本提取和查询匹配。

使用的技术

• Python ：开发的核心编程语言。
• FastAPI ：构建RESTFUL API的框架。
• Langchain ：用于集成语言模型的工具链。
• MongoDB ：用于存储文档和元数据的数据库。
• Pinecone ：用于优化查询存储和检索的矢量数据库。

安装

要在本地设置项目，请按照以下步骤：

1. 克隆存储库：

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. 创建虚拟环境：

   python -m venv venv
   source venv/bin/activate

3. 安装依赖项：

   pip install -r requirements.txt

4. 设置环境变量：在根目录中创建.env文件并添加您的配置设置。

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. 运行应用程序：

   uvicorn main:app --reload

用法

API文档

可以使用Swagger访问API文档和更多详细信息。应用程序运行后，导航到http://localhost:8000/docs以探索和与API端点进行交互。