Intro to RAG with CODEGEMMA 7B

Простая тряпка с CodeGemma: 7B

Эта работа реализует простую тряпичную систему с помощью GoogleCodegemma:7b , Qdrant as VectorDB и CoNaLa . Мы разрабатываем простое приложение с GRADIO и создаем изображение Dcoker для выполнения Conatiner.

Gradio app ui

Файловые структуры

• rag_localllm.ipynb: Эта записная книжка содержит код и объяснение для реализации Rag с Codegemma.
  • Подключение к местному LLM через Ollama
  • Импорт данных
  • Импорт модели встраивания
  • Встроить документы и создать векторную базу данных
  • Возьмите пользовательский запрос
  • Выполнять запрос встраиваемого и поиска
  • Выполнить тряпку с CodeGemma
• * vector_database.py: код для создания Vectordb
• app.py: код для приложения Gradio

Архитектуры

• Векторная база данных: Qdrant
• Прикладная структура: Gradio
• LLM: Google Codegemma
• LLM Server: Ollama
• Внедрение: All-Minilm-L6-V2
• База данных: Конала

Докер

Изображение Docker приложения подтолкнуто к Docker Hub. Чтобы запустить приложение, нам нужна система Linux с минимальной памятью 8 ГБ. Чтобы запустить приложение, просто выполнить команду

 docker compose up

Если вы найдете репо полезным, пожалуйста, оставьте