gpt all local

在私人數據上使用LLM，所有這些

該項目是使用大型語言模型（LLM）從私人數據中檢索信息，在本地運行所有部分（包括模型）的學習練習。目的是在計算機上運行LLM，以在計算機上的一組文件上提出問題。這些文件可以是任何類型的文檔，例如PDF，Word或文本文件。

這種結合LLM和私人數據的方法稱為檢索增強的生成（RAG）。它是在本文中引入的。

信用額度應得的信用：我基於原始Privategpt（他們稱之為原始版本）。我重新完成了這些作品以了解它們的工作方式。在“來源”部分中查看更多內容。

我們要實現的目標：給定計算機上的一組文件（a），我們希望在該計算機上運行的大型語言模型（b）在它們上回答問題（c）。

但是，我們無法將文件直接饋送到模型。大型語言模型（LLMS）具有上下文窗口，該窗口限制了我們可以輸入的信息（它們的工作記憶）。為了克服該限制，我們將文件分為較小的零件，稱為塊，僅將相關的文件饋送到模型（D）中。

但是，問題變成了“我們如何找到相關的塊？” 。我們使用相似性搜索（e）來匹配問題和塊。相似性搜索反過來需要向量嵌入（F），這是用編碼語義關係的向量的單詞表示（從技術上講，密集的向量嵌入，而不是將其與稀疏的向量表示（例如詞袋和tf-idf）混淆）。一旦有了相關的塊，我們就將它們與問題結合在一起，以創建一個提示（g），該提示（g）指示LLM回答問題。

我們需要最後一塊：持續存儲。為塊創建嵌入需要時間。我們不想每次問一個問題。因此，我們需要將嵌入和原始文本（塊）保存在矢量存儲（或數據庫）（h）中。矢量商店可以大大生長，因為它存儲了原始文本塊及其矢量嵌入。我們使用矢量索引（i）有效地找到相關的塊。

現在我們有了我們需要的所有作品。

我們可以將實現分為兩個部分：攝入和檢索數據。

1. 攝入：目標是將本地文件分為適合LLM輸入大小（上下文窗口）的較小塊。我們還需要為每個塊創建向量嵌入。矢量嵌入使我們能夠找到最相關的塊來幫助回答問題。因為分塊和嵌入需要時間，所以我們只想這樣做一次，因此我們將結果保存在矢量存儲（數據庫）中。
2. 檢索：給出一個用戶問題，我們使用相似性搜索來查找最相關的塊（即與問題相關的本地文件的部分）。一旦確定了最相關的塊，我們就可以使用LLM回答問題。為此，我們將用戶問題與相關塊結合在一起，並提示指示LLM回答問題。

以下圖中說明了這兩個步驟。

如何使用這個項目

如果您還沒有這樣做，請準備環境。如果您已經準備好環境，請用source venv/bin/activate激活它。

有兩種使用此項目的方法：

1. 命令行界面：使用此命令來查看更多日誌並了解正在發生的事情（請參閱下面的--verbose標誌）。
2. 簡化應用程序：使用此應用程序進行更易於用戶友好的體驗。

命令行接口

1. 將要使用的文件複製到data文件夾中。
2. 運行python main.py ingest以將文件攝入矢量存儲。
3. 運行python main.py retrieve以從矢量存儲中檢索數據。這將提示您提出問題。

使用--verbose標誌獲取有關該程序在幕後所做的事情的更多詳細信息。

要重新啟動數據，請刪除vector_store文件夾並再次運行python main.py ingest 。

簡化應用程序

運行streamlit run app.py它將在瀏覽器窗口中打開應用程序。

該命令可能會失敗，第一次運行它。 Python環境與Pyenv一起工作的地方有一個小故障。如果簡化顯示“無法導入模塊消息”，請停用Python環境，然後deactivate其再次激活，並使用source venv/bin/activate激活，然後運行streamlit run app.py

設計

攝取數據

如果您還沒有這樣做，請準備環境。如果您已經準備好環境，請用source venv/bin/activate激活它。

命令： python main.py ingest [--verbose]

此階段的目的是使數據可搜索。但是，用戶的問題和數據內容可能不完全匹配。因此，我們不能使用簡單的搜索引擎。我們需要執行矢量嵌入支持的相似性搜索。向量嵌入是此階段最重要的部分。

攝入數據具有以下步驟：

1. 加載文件：與文檔類型匹配的文檔讀取器用於加載文件。在這一點上，我們有一系列字符，其中包含文件內容（從現在開始）。元數據，圖片等被忽略。
2. 將文檔分成塊：文檔分離器將文檔劃分為指定尺寸的塊。我們需要將文檔分開以適合模型的上下文大小（並在使用付費模型時發送更少的令牌）。每個塊的確切大小取決於文檔分離器。例如，句子分離器試圖在句子級別拆分，使一些塊小於指定的大小。
3. 為每個塊創建向量嵌入：嵌入模型為每個塊創建一個向量嵌入。這是使我們能夠找到最相關的塊來幫助回答問題的關鍵步驟。
4. 將嵌入到矢量數據庫（商店）中：堅持我們上面所做的所有工作，因此我們將來不必重複它。

未來的改進：

• 更聰明的文檔解析。例如，請勿將圖形字幕與部分文本相結合；請勿解析參考部分（或者，用實際的參考文本替換內聯引用）。
• 改善並行性。理想情況下，我們希望每個文件並行運行整個工作流（負載文檔，塊，嵌入，持久）。這需要一個解決方案，該解決方案不僅可以與I/O結合，還可以使CPU結合的任務並行。向量商店還必須支持多個作家。
• 嘗試不同的分解策略，例如檢查句子分式（ NLTKTextSplitter或SpacyTextSplitter ）是否會改善答案。
• 根據LLM輸入（上下文）大小選擇塊大小。目前，它的硬編碼為少數數字，這可能會影響結果的質量。另一方面，它節省了LLM API的成本。我們需要找到平衡。
• 自動化攝入過程：檢測是否有新的或更改的文件並攝取它們。

檢索數據

如果您還沒有這樣做，請準備環境。如果您已經準備好環境，請用source venv/bin/activate激活它。

命令： python main.py retrieve [--verbose]

此階段的目的是從本地數據中檢索信息。我們通過獲取矢量商店中最相關的塊並將其與用戶的問題和提示相結合來做到這一點。該提示指示語言模型（LLM）回答問題。

檢索數據具有以下步驟：

1. 查找最相關的塊：查詢矢量商店以找到問題的最相關的塊。
2. 將塊與問題和提示結合在一起：將塊與問題和提示結合在一起。提示指示LLM回答問題。
3. 將組合文本發送到LLM：將組合的文本發送到LLM以獲取答案。

未來的改進：

• 添加Langchain回調以查看檢索過程的步驟。
• 提示僅使用本地文檔中的內容回答提示，例如“僅使用以下文檔中的信息：...”。沒有此步驟，模型似乎夢想著培訓數據的答案，這並不總是相關的。
• 添加適度以濾除進攻的答案。
• 通過重新評估改進答案： “過度取消我們的搜索結果，然後根據修飾符或一組修飾符確定性地重新啟動。” 。
• 嘗試不同的鏈條類型（與上一點有關）。

改善結果

我們必須做出一些妥協才能使其在合理的時間內在本地機器上運行。

• 我們使用一個小型模型。這個很難改變。該模型必須在CPU上運行並適合內存。
• 我們使用較小的嵌入尺寸。如果我們等待更長的攝入過程，我們可以增加嵌入尺寸。
• 保持一切相同並嘗試不同的鏈條。

來源

大多數攝入/檢索代碼基於原始私人法，他們現在稱為原始代碼。

有什麼不同：

• 簡化UI的應用程序。
• 使用較新的嵌入式和大型語言模型版本。
• 現代化Python代碼。例如，它使用pathlib而不是os.path ，並且具有正確的日誌記錄代替打印語句。
• 添加了更多的記錄以了解發生了什麼。使用--verbose標誌查看詳細信息。
• 添加了一個主要程序來運行攝入/檢索步驟。
• 填寫requirements.txt 。

有關在此項目開發期間收集的更多註釋，請參見此文件。

準備環境

這是一個一次性步驟。如果您已經這樣做了，只需使用source venv/bin/activate激活虛擬環境。

Python環境

運行以下命令以創建虛擬環境並安裝所需的軟件包。

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

PDF解析

unstructured中的PDF解析器是實際解析器軟件包頂部的一層。在“安裝以下系統依賴項”子彈下，按照unstructured讀數中的說明進行操作。需要流行式包裝和Tesseract軟件包（忽略其他軟件包）。

模型

我建議從在CPU上運行的小型型號開始。 GPT4All在這裡有模型列表。我用Mistral-7b-Openorca Q4進行了測試。它需要8 GB的RAM運行。請注意，某些模型具有限制性許可。在商業項目中使用許可之前，請先檢查許可證。

1. 創建一個名為models的文件夾。
2. 單擊此處下載Mistral 7b Openorca（3.8 GB下載，8 GB RAM）。
3. 將模型複製到models文件夾。