Intro to RAG with CODEGEMMA 7B

Codegemma를 가진 간단한 걸레 : 7b

이 작업은 GoogleCodegemma:7b , Qdrant as VectorDB 및 CoNaLa 데이터 세트로 간단한 걸레 시스템을 구현합니다. GRADIO 와 함께 간단한 앱을 개발하고 Conatiner 런타임을위한 Dcoker 이미지를 만듭니다.

Gradio 앱 UI

파일 구조

• RAG_LOCALLLM.IPYNB : 이 노트북에는 코드가있는 Rag를 구현하기위한 코드 및 설명이 포함되어 있습니다.
  • Ollama를 통해 지역 LLM에 연결
  • 수입 데이터
  • 임베딩 모델 가져 오기
  • 문서를 포함시키고 벡터 데이터베이스를 작성하십시오
  • 사용자 쿼리를 사용하십시오
  • 쿼리 임베딩 및 검색을 수행하십시오
  • Codegemma와 함께 Rag를 수행하십시오
• * vector_database.py : vectordb 생성 코드
• App.py : Gradio 응용 프로그램 코드

아키텍처

• 벡터 데이터베이스 : Qdrant
• 응용 프로그램 프레임 워크 : Gradio
• LLM : Google CodeGemma
• LLM 서버 : Ollama
• 임베딩 : All-Minilm-L6-V2
• 데이터베이스 : Conala

도커

앱의 Docker 이미지는 Docker Hub로 푸시됩니다. 애플리케이션을 실행하려면 Minimun 8GB 메모리가있는 Linux 시스템이 필요합니다. 앱을 실행하려면 단순히 명령을 실행합니다

 docker compose up

레포가 도움이되면 a