airgapped offfline rag

空云离线抹布

Vincent Koc的该项目实施了基于记录的基于检索的生成（RAG）的避开文件系统。它使用Llama 3，Mismtral和Gemini模型与Llama C ++的本地推断，用于编排的Langchain，用于矢量存储的Chromadb以及用户界面的简化。

目录

• 空云离线抹布
  • 目录
  • 设置
  • 运行应用程序
    • 本地
    • 使用Docker
  • 用法
  • 配置
  • 特征
    • 支持的功能
    • 未来功能
  • 贡献
  • 执照
  • 致谢

设置

1. 确保安装Python 3.9 ：您可以使用pyenv ：

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. 创建虚拟环境并安装依赖性：

    make setup
   

3. 下载模型：以GGGUF格式下载Llama 3（8b）和Mismtral（7b）型号，然后将它们放入models/目录中。 TheBloke在拥抱面孔上分享了这些模型：

   • MISTRAL-7B-INSTRUCT-V0.2-GGUF
   • Llama-Pro-8b-instruct-gguf

   来自unsloth的模型也已经进行了测试，可以在此处找到：

   • gemma-2-2b-it.q2_k.gguf
   • Llama-3.2-3b-instruct-q2_k.gguf

4. QDRANT句子变形金刚模型：这将在第一次运行中自动下载。如果在本地运行空气的RAG，则最好使用Internet访问来运行代码库以下载模型。

运行应用程序

本地

 make run

使用Docker

 make docker-build
make docker-run

用法

1. 使用文件上传器上传PDF文档。
2. 选择要使用的模型（例如，Mistral）。
3. 在文本输入中输入您的问题。
4. 单击“生成答案”以根据文档内容获得响应。

配置

调整config.yaml中的设置以修改模型路径，块大小和其他参数。

特征

支持的功能

• 与骆驼C ++的本地推断
• 骆驼3（3和3.1）的模型支持
• Mistral的模型支持
• 双子座的模型支持
• 支持量化模型
• 文档上传和处理
• 提问系统
• 向量存储的句子变压器模型
• 与简化的UI集成
• 支持流响应

未来功能

• 与其他模型集成（即将推出）
• 支持非PDF文档（即将推出）
• 支持图像文档（即将推出）
• 支持可视化嵌入（即将推出）
• 支持聊天历史记录（即将推出）
• 增强的用户界面（即将推出）
• 支持多模式文档（即将推出）
• 导出和导入抹布配置（即将推出）
• 暴露REST API（即将推出）
• 可观察性（即将推出）

贡献

欢迎捐款！请铺设存储库并提交拉动请求。对于重大更改，请先开设一个问题，以讨论您想更改的内容。

执照

该项目是根据GNU通用公共许可证v3.0（GPLV3）获得许可的。有关详细信息，请参见许可证文件。

这意味着：

• 您可以自由使用，修改和分发此软件。
• 如果修改或扩展此软件，则必须在GPL下发布更改。
• 您必须包括原始版权通知和GPL许可证的全文。
• 这个免费软件没有保修。

有关更多信息，请访问GNU GPL V3。

致谢

• 感谢TheBloke和Unsploth共享量化模型。
• 该项目使用各种开源库。有关详细信息，请参见要求。