Intro to RAG with CODEGEMMA 7B

Rano simples com codegemma: 7b

Este trabalho implementa um sistema de pano simples com GoogleCodegemma:7b , Qdrant as VectorDB e CoNaLa . Desenvolvemos um aplicativo simples com GRADIO e criamos a imagem Dcoker para o Conatiner Runtime.

Gradio app ui

Estruturas de arquivo

• rag_localllm.ipynb: Este notebook contém código e explicação para a implementação do RAG com o CodeGemma.
  • Conectando -se ao LLM local via Ollama
  • Importação de dados
  • Importar modelo de incorporação
  • Incorporar os documentos e criar banco de dados vetorial
  • Tome consulta do usuário
  • Realizar consulta e recuperação de incorporação
  • Execute o RAG com o CodeGEMMA
• * vetor_database.py: o código para criar o VectordB
• App.py: o código para aplicação gradio

Arquiteturas

• Banco de dados vetorial: QDRANT
• Estrutura de aplicação: Gradio
• LLM: Google CodeGemma
• Servidor LLM: Ollama
• Incorporação: todo-l6-v2
• Banco de dados: Conala

Docker

A imagem do docker do aplicativo é empurrada para o Docker Hub. Para executar o aplicativo, precisamos do sistema Linux com a memória Minimun 8 GB. Para executar o aplicativo, simplesmente execute o comando

 docker compose up

Se você achar útil o repositório, solte um