Intro to RAG with CODEGEMMA 7B

CodeGemmaを備えた単純なぼろきれ：7b

この作業ではGoogleCodegemma:7b 、 Qdrant as VectorDBおよびCoNaLaデータセットを使用した単純なRAGシステムを実装します。 GRADIOを備えたシンプルなアプリを開発し、Conatiner Runtime用のDcokerイメージを作成します。

グラデーションアプリUI

ファイル構造

• rag_localllm.ipynb：このノートブックには、codegemmaを使用してragを実装するためのコードと説明が含まれています。
  • オラマ経由でローカルLLMに接続します
  • データをインポートします
  • 埋め込みモデルをインポートします
  • ドキュメントを埋め込み、ベクトルデータベースを作成します
  • ユーザークエリを取ります
  • クエリの埋め込みと検索を実行します
  • codegemmaでぼろを実行します
• * vector_database.py：vectordbを作成するためのコード
• App.py：グラデーションアプリケーションのコード

アーキテクチャ

• ベクトルデータベース： QDRANT
• アプリケーションフレームワーク：グラデーション
• LLM： Google CodeGemma
• LLMサーバー： Ollama
• 埋め込み： All-Minilm-L6-V2
• データベース： Conala

Docker

アプリのDocker画像はDocker Hubにプッシュされます。アプリケーションを実行するには、最小8GBメモリを備えたLinuxシステムが必要です。アプリを実行するには、コマンドを実行するだけです

 docker compose up

リポジトリが役立つ場合は、ドロップしてください