Intro to RAG with CODEGEMMA 7B

簡單的抹布與編碼：7b

這項工作用GoogleCodegemma:7b ， Qdrant as VectorDB和CoNaLa數據集。我們開發一個具有GRADIO的簡單應用程序，並為Conatiner運行時創建Dcoker映像。

Gradio App UI

文件結構

• rag_localllm.ipynb：此筆記本包含用於用Codegemma實現抹布的代碼和說明。
  • 通過Ollama連接到本地LLM
  • 導入數據
  • 導入嵌入模型
  • 嵌入文檔並創建矢量數據庫
  • 進行用戶查詢
  • 執行查詢嵌入和檢索
  • 用編碼執行抹布
• * vector_database.py：創建vectordb的代碼
• app.py：Gradio應用程序的代碼

體系結構

• 向量數據庫： QDRANT
• 應用框架： Gradio
• LLM： Google Codegemma
• LLM服務器： Ollama
• 嵌入： All-Minilm-L6-V2
• 數據庫： Conala

Docker

該應用程序的Docker圖像被推到Docker Hub。要運行應用程序，我們需要使用Minimun 8GB內存的Linux系統。運行應用程序只需執行命令

 docker compose up

如果您發現倉庫有幫助，請放下