airgapped offfline rag

空雲離線抹布

Vincent Koc的該項目實施了基於記錄的基於檢索的生成（RAG）的避開文件系統。它使用Llama 3，Mismtral和Gemini模型與Llama C ++的本地推斷，用於編排的Langchain，用於矢量存儲的Chromadb以及用戶界面的簡化。

目錄

• 空雲離線抹布
  • 目錄
  • 設定
  • 運行應用程序
    • 本地
    • 使用Docker
  • 用法
  • 配置
  • 特徵
    • 支持的功能
    • 未來功能
  • 貢獻
  • 執照
  • 致謝

設定

1. 確保安裝Python 3.9 ：您可以使用pyenv ：

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. 創建虛擬環境並安裝依賴性：

    make setup
   

3. 下載模型：以GGGUF格式下載Llama 3（8b）和Mismtral（7b）型號，然後將它們放入models/目錄中。 TheBloke在擁抱面孔上分享了這些模型：

   • MISTRAL-7B-INSTRUCT-V0.2-GGUF
   • Llama-Pro-8b-instruct-gguf

   來自unsloth的模型也已經進行了測試，可以在此處找到：

   • gemma-2-2b-it.q2_k.gguf
   • Llama-3.2-3b-instruct-q2_k.gguf

4. QDRANT句子變形金剛模型：這將在第一次運行中自動下載。如果在本地運行空氣的RAG，則最好使用Internet訪問來運行代碼庫以下載模型。

運行應用程序

本地

 make run

使用Docker

 make docker-build
make docker-run

用法

1. 使用文件上傳器上傳PDF文檔。
2. 選擇要使用的模型（例如，Mistral）。
3. 在文本輸入中輸入您的問題。
4. 單擊“生成答案”以根據文檔內容獲得響應。

配置

調整config.yaml中的設置以修改模型路徑，塊大小和其他參數。

特徵

支持的功能

• 與駱駝C ++的本地推斷
• 駱駝3（3和3.1）的模型支持
• Mistral的模型支持
• 雙子座的模型支持
• 支持量化模型
• 文檔上傳和處理
• 提問系統
• 向量存儲的句子變壓器模型
• 與簡化的UI集成
• 支持流響應

未來功能

• 與其他模型集成（即將推出）
• 支持非PDF文檔（即將推出）
• 支持圖像文檔（即將推出）
• 支持可視化嵌入（即將推出）
• 支持聊天歷史記錄（即將推出）
• 增強的用戶界面（即將推出）
• 支持多模式文檔（即將推出）
• 導出和導入抹布配置（即將推出）
• 暴露REST API（即將推出）
• 可觀察性（即將推出）

貢獻

歡迎捐款！請鋪設存儲庫並提交拉動請求。對於重大更改，請先開設一個問題，以討論您想更改的內容。

執照

該項目是根據GNU通用公共許可證v3.0（GPLV3）獲得許可的。有關詳細信息，請參見許可證文件。

這意味著：

• 您可以自由使用，修改和分發此軟件。
• 如果修改或擴展此軟件，則必須在GPL下發布更改。
• 您必須包括原始版權通知和GPL許可證的全文。
• 這個免費軟件沒有保修。

有關更多信息，請訪問GNU GPL V3。

致謝

• 感謝TheBloke和Unsploth共享量化模型。
• 該項目使用各種開源庫。有關詳細信息，請參見要求。