ai markdown llm retrieval

基於抹布的vectordb-llm查詢引擎

該項目使用Langchain，Chromadb和OpenAI的語言模型實現了AI驅動的文檔查詢系統。它使用戶能夠從Markdown文檔創建可搜索的數據庫，並使用自然語言查詢。

特徵

• 從Markdown文檔創建向量數據庫
• 嵌入和查詢成本估算
• 數據庫上的相似性搜索
• 用戶查詢的AI驅動響應生成

建築圖

要求

• Python 3.7+
• requirements.txt中列出的依賴項.txt

安裝

1. 克隆這個存儲庫
2. 創建虛擬環境：

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. 安裝所需的軟件包：

    pip install -r requirements.txt
   

4. 在.env文件中設置OpenAI API密鑰：

    OPENAI_API_KEY=your_api_key_here
   

入門

請按照以下步驟快速設置並使用基於RAG的VectordB-LLM查詢引擎：

1. 從您的Markdown文檔創建數據庫：

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   此命令將在數據/ GO-DOCS目錄中處理Markdown文件，並在Chroma_go_docs/文件夾中創建一個向量數據庫。

2. 用自然語言問題查詢數據庫：

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. 查看AI生成的響應：

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

用法

有關更詳細的用法說明，請參閱以下各節：

1. 創建數據庫

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. 查詢數據庫

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

文件結構

• create_database.py ：數據庫創建腳本
• query_data.py ：數據庫查詢腳本
• estimate_cost.py ：成本估算模塊
• get_token_count.py ：代幣計數實用程序
• data/ ：Markdown Documents目錄
• chroma/ ：Chromadb數據庫存儲（Gitignored）

筆記

• 默認情況下，將OpenAI的text-embedding-3-small用於嵌入和gpt-3.5-turbo
• 將Markdown文件放入data/或指定自定義路徑
• ChromAdb數據庫存儲在chroma/ （Gitignored）中

故障排除

• 確保兼容Python版本並正確安裝軟件包
• 驗證API錯誤的OpenAI API密鑰和帳戶積分

執照

該項目是根據MIT許可證的條款獲得許可的。有關更多信息，請參閱許可證文件。

建立

• Langchain
• Chromadb
• Openai
• tiktoken

有關問題或問題，請在GitHub存儲庫上打開一個問題。