ai markdown llm retrieval

基于抹布的vectordb-llm查询引擎

该项目使用Langchain，Chromadb和OpenAI的语言模型实现了AI驱动的文档查询系统。它使用户能够从Markdown文档创建可搜索的数据库，并使用自然语言查询。

特征

• 从Markdown文档创建向量数据库
• 嵌入和查询成本估算
• 数据库上的相似性搜索
• 用户查询的AI驱动响应生成

建筑图

要求

• Python 3.7+
• requirements.txt中列出的依赖项.txt

安装

1. 克隆这个存储库
2. 创建虚拟环境：

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. 安装所需的软件包：

    pip install -r requirements.txt
   

4. 在.env文件中设置OpenAI API密钥：

    OPENAI_API_KEY=your_api_key_here
   

入门

请按照以下步骤快速设置并使用基于RAG的VectordB-LLM查询引擎：

1. 从您的Markdown文档创建数据库：

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   此命令将在数据/ GO-DOCS目录中处理Markdown文件，并在Chroma_go_docs/文件夹中创建一个向量数据库。

2. 用自然语言问题查询数据库：

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. 查看AI生成的响应：

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

用法

有关更详细的用法说明，请参阅以下各节：

1. 创建数据库

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. 查询数据库

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

文件结构

• create_database.py ：数据库创建脚本
• query_data.py ：数据库查询脚本
• estimate_cost.py ：成本估算模块
• get_token_count.py ：代币计数实用程序
• data/ ：Markdown Documents目录
• chroma/ ：Chromadb数据库存储（Gitignored）

笔记

• 默认情况下，将OpenAI的text-embedding-3-small用于嵌入和gpt-3.5-turbo
• 将Markdown文件放入data/或指定自定义路径
• ChromAdb数据库存储在chroma/ （Gitignored）中

故障排除

• 确保兼容Python版本并正确安装软件包
• 验证API错误的OpenAI API密钥和帐户积分

执照

该项目是根据MIT许可证的条款获得许可的。有关更多信息，请参阅许可证文件。

建立

• Langchain
• Chromadb
• Openai
• tiktoken

有关问题或问题，请在GitHub存储库上打开一个问题。