custom rag app

自定義抹布應用

一般的

一個利用流線來提供用戶友好的界面來創建抹布管道的應用程序。該應用程序允許用戶上傳自己的PDF FIE，然後將其處理並存儲在新的（或現有）矢量數據庫中。

然後，用戶可以查詢數據庫，並接收從LLM模型生成的最相關的響應。我們選擇使用的LLM是Gemma：2B模型，對於模型服務，我們使用Ollama。

該應用程序還提供了刪除現有數據庫的能力，儘管目前此功能限制了Windows。

設定

為了使應用程序運行，首先需要克隆此存儲庫。這可以通過命令來完成：

git clone https://github.com/Jimlibo/custom-rag-app.git

克隆存儲庫後，您可以導航到該應用程序的目錄：

 cd custom-rag-app

使用Docker運行

如果已安裝了Docker和Docker-Compose，則可以使用以下命令運行該應用：

docker-compose up

使用精簡運行

如果您沒有安裝Docker，則可以首先從unignts.txt中安裝所需的軟件包，然後通過簡化運行應用程序。這可以通過以下命令來完成：

 cd src
pip install -r requirements.txt
streamlit run app.py

為了在LLM上運行推斷，您還需要啟動和運行Ollama服務。如果這是您第一次運行該應用程序，則必須先從Ollama存儲庫中汲取Gemma：2b型號。要拉動模型，請打開另一個終端並執行命令：

ollama pull gemma:2b

要服務模型，請運行：

ollama serve

配x如果該應用程序不自動打開，則可以導航到http：// localhost：8501/在您選擇的瀏覽器中。

執照

根據MIT許可分發。有關更多信息，請參見許可證。