llama index RAG

美洲驼指数抹布应用

使用QDrant作为存储的Llama索引上的RAG实现。采取一些PDF（您可以使用“ IN /DATA”或“删除”测试PDF，并使用自己的文档），将索引 /嵌入在VDB中，使用LLM来推断和生成输出。很漂亮。

如何使用

• 创建本地路径和数据子文件夹
• 使用Conda，Env或Docker创建虚拟设备
• 键入pip install -r /path/to/requirements.txt在cmd提示中
• 用ollama run mistral或您选择的任何型号，在终端中激活Ollama。如果您使用新的Ollama for Windows，则没有必要，因为它在后台运行（确保其活动性）。
• 打开llama_index_rag.py并使用您的选择模型更新第42和43号
• 保存并运行脚本
• 观察结果类似：