Intro to RAG with CODEGEMMA 7B

简单的抹布与编码：7b

这项工作用GoogleCodegemma:7b ， Qdrant as VectorDB和CoNaLa数据集。我们开发一个具有GRADIO的简单应用程序，并为Conatiner运行时创建Dcoker映像。

Gradio App UI

文件结构

• rag_localllm.ipynb：此笔记本包含用于用Codegemma实现抹布的代码和说明。
  • 通过Ollama连接到本地LLM
  • 导入数据
  • 导入嵌入模型
  • 嵌入文档并创建矢量数据库
  • 进行用户查询
  • 执行查询嵌入和检索
  • 用编码执行抹布
• * vector_database.py：创建vectordb的代码
• app.py：Gradio应用程序的代码

体系结构

• 向量数据库： QDRANT
• 应用框架： Gradio
• LLM： Google Codegemma
• LLM服务器： Ollama
• 嵌入： All-Minilm-L6-V2
• 数据库： Conala

Docker

该应用程序的Docker图像被推到Docker Hub。要运行应用程序，我们需要使用Minimun 8GB内存的Linux系统。运行应用程序只需执行命令

 docker compose up

如果您发现仓库有帮助，请放下