IntelligentQueryEngine

?

Repositori ini meng-host The Intelligent Query Engine , solusi kueri yang digerakkan AI yang mengintegrasikan pemrosesan bahasa alami canggih dengan kueri database yang kuat. Sistem ini memanfaatkan model AI canggih, database vektor, dan database relasional tradisional untuk memberikan interaksi yang mulus dan cerdas dengan data Anda.

? Fitur

• Google Gemini dan memeluk embeddings wajah : memanfaatkan kekuatan model bahasa mutakhir untuk memahami kueri bahasa alami dan mengubahnya menjadi pernyataan SQL yang tepat.
• Chromadb untuk Penyimpanan Vektor : Menyimpan dan mengambil embeddings secara efisien untuk pencarian kueri dan semantik.
• MySQL Backend : Kueri data terstruktur yang disimpan dalam database relasional tradisional, memastikan kompatibilitas dengan alur kerja yang ada.
• Integrasi Langchain : Rantai logika dan alur kerja yang kompleks, memungkinkan permintaan multi-langkah dan pengambilan keputusan.
• Pengembangan berbasis notebook : Eksperimen dan pembuatan prototipe dalam lingkungan interaktif yang fleksibel.

Kemampuan utama

1. Bahasa alami untuk SQL : Pengguna dapat mengajukan pertanyaan dalam bahasa Inggris yang sederhana, dan mesin menghasilkan kueri SQL yang akurat untuk mendapatkan hasil dari MySQL.
2. Pencarian Semantik : Temukan informasi yang relevan menggunakan pencarian kesamaan berbasis vektor yang disimpan di Chromadb.
3. Manajemen Konteks Dinamis : Beradaptasi dengan kueri pengguna dengan pemahaman kontekstual yang didukung oleh Google Gemini dan embeddings wajah memeluk.
4. Skalabilitas : Dirancang untuk menangani kumpulan data besar dan permintaan kompleks dengan mudah.
5. Desain modular : Arsitektur yang dapat diperluas untuk mengintegrasikan model AI tambahan atau sistem basis data.

Bagan Aliran Sistem

Struktur ini memberikan gambaran tingkat tinggi tentang bagaimana berbagai komponen berinteraksi dalam proyek mesin kueri cerdas Anda.

Mesin Kueri Cerdas :

                    +---------------------+
                    |    User Query       |
                    | (Natural Language)  |
                    +----------+----------+
                               |
                               v
                   +-------------------------+
                   | Google Gemini / Hugging |
                   | Face Embeddings (NLP)   |
                   +-----------+-------------+
                               |
                               v
               +------------------------------+
               |      LangChain (Workflow)    |
               +-----------+------------------+
                               |
           +-------------------+------------------+
           |                                      |
           v                                      v
  +------------------+                   +-------------------+
  |   ChromaDB       |                   |   MySQL Database  |
  | (Vector Storage) |                   |  (Structured Data)|
  +------------------+                   +-------------------+
           |                                      |
           +-------------------+------------------+
                               |
                               v
                   +--------------------------+
                   |  SQL Query Generation    |
                   |  (Data Fetching)         |
                   +--------------------------+
                               |
                               v
                   +--------------------------+
                   |    Final Results         |
                   |   (Returned to User)     |
                   +--------------------------+

Penjelasan Aliran:

1. Kueri Pengguna (Bahasa Alami) : Pengguna memasukkan kueri dalam bahasa alami.
2. Google Gemini / Hugging Face Embeddings : Model -model ini memproses dan menanamkan kueri ke dalam format yang cocok untuk pemahaman dan pemrosesan lebih lanjut.
3. Langchain : Mengatur proses multi-langkah dan mengintegrasikan berbagai komponen.
4. Chromadb : Menyimpan embeddings vektor untuk pencarian berbasis konteks, membantu dalam pemahaman kueri.
5. Database MySQL : Database relasional di mana data aktual berada.
6. SQL Query Generation : Menerjemahkan kueri bahasa alami yang diproses ke dalam pernyataan SQL yang tepat.
7. Hasil akhir : Hasil eksekusi kueri dikembalikan ke pengguna.

✅ Aplikasi

• Kecerdasan Bisnis: Ajukan pertanyaan rumit tentang data Anda dan terima wawasan yang dapat ditindaklanjuti.
• E-commerce: Inventarisasi kueri, harga, dan data penjualan dalam bahasa alami.
• Penelitian: Ekstrak pola dan tren dari dataset terstruktur tanpa keahlian SQL.
• Tim Analisis Data: Jembatan kesenjangan antara pengguna teknis dan non-teknis dengan mendemokratisasi akses ke data.

? Memulai

Repositori ini mencakup implementasi awal di lingkungan notebook. Transisi ke sistem yang siap-produksi akan melibatkan penyebaran komponen ke infrastruktur yang dapat diskalakan.

? Komponen

1. Model AI : Google Gemini dan Embeddings Wajah Memeluk ( sentence-transformers/all-MiniLM-L6-v2 ) untuk pemahaman kueri.
2. Database Vektor : Chromadb untuk menyimpan dan mengambil embeddings.
3. Database Relasional : MySQL untuk penyimpanan data terstruktur.
4. Orkestrasi : Langchain untuk langkah -langkah rantai seperti pengambilan yang menanamkan, generasi kueri, dan pengambilan data.

? Hasil Eksperimen:

• ⛃ Snapshot of Database

• ?? ‍ output dari kueri SQL mentah

• ? Output dari kueri prompt AI (LLM)

Catatan: T4 GPU yang digunakan di Google Colab-Notebook untuk menyelesaikan tugas ini.