custom rag app

自定义抹布应用

一般的

一个利用流线来提供用户友好的界面来创建抹布管道的应用程序。该应用程序允许用户上传自己的PDF FIE，然后将其处理并存储在新的（或现有）矢量数据库中。

然后，用户可以查询数据库，并接收从LLM模型生成的最相关的响应。我们选择使用的LLM是Gemma：2B模型，对于模型服务，我们使用Ollama。

该应用程序还提供了删除现有数据库的能力，尽管目前此功能限制了Windows。

设置

为了使应用程序运行，首先需要克隆此存储库。这可以通过命令来完成：

git clone https://github.com/Jimlibo/custom-rag-app.git

克隆存储库后，您可以导航到该应用程序的目录：

 cd custom-rag-app

使用Docker运行

如果已安装了Docker和Docker-Compose，则可以使用以下命令运行该应用：

docker-compose up

使用精简运行

如果您没有安装Docker，则可以首先从unignts.txt中安装所需的软件包，然后通过简化运行应用程序。这可以通过以下命令来完成：

 cd src
pip install -r requirements.txt
streamlit run app.py

为了在LLM上运行推断，您还需要启动和运行Ollama服务。如果这是您第一次运行该应用程序，则必须先从Ollama存储库中汲取Gemma：2b型号。要拉动模型，请打开另一个终端并执行命令：

ollama pull gemma:2b

要服务模型，请运行：

ollama serve

配x如果该应用程序不自动打开，则可以导航到http：// localhost：8501/在您选择的浏览器中。

执照

根据MIT许可分发。有关更多信息，请参见许可证。