markdown file query

該項目目前在英文文檔中最有效。

關於這個項目

這個項目

• 利用Pinecone Vector數據庫（VDB）和OpenAI（Vector）嵌入模型將文本變成向量。
• 與任何.md文件一起使用，因此它可以與Intion＆Intidian完美搭配（儘管對於概念，您必須先手動將其導出到.md ）
• 是作者的Feynman技術實踐。
• 可能是Privategpt和Llama_index的弱重複，如果您想要精美的文檔查詢程序，則應使用llama_index而不是此玩具。

該計劃的演練

1. 使用langchain.textsplitter將目標目錄中的每個標記文件切成許多小塊
2. 每個chunck都通過Openai的嵌入模型（ langchain.embeddings.OpenAIEmbeddings ）變成矢量
3. 然後將向量上傳到Pinecone矢量數據庫。
4. 查詢還使用矢量嵌入模型轉換為向量，並將其上傳到Pinecone。
5. 為了檢索搜索結果，我們使用Pinecone（通過餘弦相似性）將查詢向量與向量數據庫進行比較。
6. 最接近的3個結果將被檢索並送入GPT-3以及問題，而GPT-3將以自然語言產生答案。

托多

• 添加一個--help選項
• 部署到簡化

入門

先決條件

1. 準備Pinecone和OpenAI API密鑰：
   • 可以在此處獲得Pinecone API鍵。
   • 可以在此處獲得OpenAI API密鑰。
2. 將鬆果和OpenAI API鍵導出到系統環境

    export PINECONE_API_KEY= " your_pinecone_api_key "
   export OPENAI_API_KEY= " your_openai_api_key "

   現在使用Python

    import os
   os . environ [ "PINECONE_API_KEY" ]
   os . environ [ "OPENAI_API_KEY" ]

   要檢查是否將它們導出到系統環境中，如果KeyError ，請在完成後重新啟動終端（如果您使用的是IDE）。

安裝

1. 克隆此存儲庫到您當地的機器

   git clone https://github.com/madeyexz/markdown-file-query.git 

2. 安裝依賴項

   pip install pinecone langchain tqdm

用法

1. 準備Markdown文件並將其放入FOLDER （或您喜歡的任何名稱，但您必須相應地更改代碼）。請注意，這應該與main.py處於同一目錄。
2. 如果這是您第一次查詢某個文檔，請運行main.py程序

   python3 main.py " PATH_OF_FOLDER " " QUESTION "

3. 查詢結果和用於生成答案的參考GPT將分別保存在answer.txt和contents.txt中。
4. 如果您想再次查詢相同的文檔，請運行query_only.py以避免重新安裝文檔。

   python3 query_only.py " QUESTION "

例子

1. 我有一個名為markdown_database的文件夾，其中包含一堆.md文件，我想用“什麼奇怪情況”查詢此數據庫

   ❯ python3 main.py " markdown_database " " what's the strange situation "                                                        

    initiating pinecone index...
   digesting docs...
   uploading datas to pinecone...
   92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 60/65 [00:29<00:02,  1.87it/s]
   let's wait for 60 seconds to avoid RateLimitError... (since im not a paid user))
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 60/60 [01:00<00:00,  1.00s/it]
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [01:32<00:00,  1.42s/it]
   querying pinecone...
   querying gpt...
   writing results to answer.txt and contents.txt
   done! the answer to 'what's the strange situation' is: '
   The Strange Situation is a standardized procedure devised by Mary Ainsworth in the 1970s to observe attachment security in children within the context of caregiver relationships. It applies to infants between the age of nine and 18 months and involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. The procedure is used to observe the quality of a young child’s attachment to his or her mother, and can also be applied to other attachment figures, such as God, through the use of Emotionally Focused Therapy (EFT) and religious beliefs, such as the saying “there are no atheists in foxholes”.'
   

2. 如果我想再次查詢相同的數據庫，我可以使用query_only.py來避免重新安裝文檔。

   ❯ python3 query_only.py " Who is Mary Ainsworth? " 

    connecting to pinecone index...
   getting docs
   querying pinecone...
   querying gpt...
   done! the answer to 'Who is Mary Ainsworth?' is: '
   Mary Ainsworth was a developmental psychologist who devised the Strange Situation in the 1970s to observe attachment security in children within the context of caregiver relationships. The Strange Situation involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. Ainsworth is also known for her observation that if you want to see the quality of a young child’s attachment to his or her mother, watch what the child does, not when Mother leaves, but when she returns. She is also known for her research on anxious babies and their inability to use their mothers as a secure base.'
   

已知限制

1. 如果您使用Pinecone，那麼每當您想查詢新文檔（即創建新數據庫）時，您可能應該創建一個新的Pinecone索引（因為您不希望從舊文檔中的答案）或刪除舊索引。這是因為Pinecone不支持更新索引（尚未）。

   刪除舊索引：

   python3 delete_pinecone_index.py NAME_OF_INDEX

致謝

向開源社區大聲喊叫，以提供直截了當的示例和全面的教程！

• Openai-cookbook：使用矢量數據庫進行嵌入搜索
• 使用打開的AI文本嵌入式構建個人搜索引擎網絡應用-Avra
• 該項目受HWCHASE17/notion-qa的啟發
• Langchain，一個用於操縱LLM的Python圖書館。