Intro to RAG with CODEGEMMA 7B

Kain sederhana dengan codegemma: 7b

Pekerjaan ini mengimplementasikan sistem kain sederhana dengan GoogleCodegemma:7b , Qdrant as VectorDB dan CoNaLa Dataset. Kami mengembangkan aplikasi sederhana dengan GRADIO dan membuat gambar Dcoker untuk conatiner runtime.

Aplikasi Gradio UI

Struktur file

• Rag_localllm.ipynb: Buku catatan ini berisi kode dan penjelasan untuk mengimplementasikan Rag dengan Codegemma.
  • Menghubungkan ke LLM Lokal melalui Ollama
  • Impor data
  • Model embedding impor
  • Embed dokumen dan buat database vektor
  • Ambil kueri pengguna
  • Lakukan embedding dan pengambilan kueri
  • Lakukan kain dengan codegemma
• * vector_database.py: Kode untuk membuat vectorbb
• app.py: Kode untuk aplikasi gradio

Arsitektur

• Database Vektor: Qdrant
• Kerangka Aplikasi: Gradio
• LLM: Google codegemma
• LLM Server: Ollama
• Embedding: All-Minilm-L6-V2
• Database: Conala

Buruh pelabuhan

Gambar Docker dari aplikasi didorong ke Hub Docker. Untuk menjalankan aplikasi, kita memerlukan sistem Linux dengan memori 8GB minimun. Untuk menjalankan aplikasi cukup jalankan perintah

 docker compose up

Jika Anda menemukan repo bermanfaat, silakan jatuhkan a