IntelligentQueryEngine

？❓インテリジェントクエリエンジン：最新のAI搭載クエリシステム

このリポジトリは、高度な自然言語処理を堅牢なデータベースクエリと統合するAI駆動型クエリソリューションであるIntelligent Query Engineをホストしています。このシステムは、最先端のAIモデル、ベクトルデータベース、および従来のリレーショナルデータベースを活用して、データとシームレスでインテリジェントな相互作用を提供します。

？特徴

• Google GeminiとHugging Face Embeddings ：最先端の言語モデルの力を活用して、自然言語の質問を理解し、それらを正確なSQLステートメントに変換します。
• ベクトルストレージ用ChromadB ：コンテキストを受け取るクエリとセマンティック検索のために、埋め込みを効率的に保存および取得します。
• MySQLバックエンド：従来のリレーショナルデータベースに保存されている構造化データをクエリし、既存のワークフローとの互換性を確保します。
• Langchain統合：複雑なロジックとワークフローをチェーンし、マルチステップクエリと意思決定を可能にします。
• ノートブックベースの開発：柔軟でインタラクティブな環境での実験とプロトタイピング。

重要な機能

1. SQLへの自然言語：ユーザーは平易な英語で質問をすることができ、エンジンは正確なSQLクエリを生成してMySQLから結果を取得します。
2. セマンティック検索：ChromADBに保存されているベクトルベースの類似性検索を使用して、関連情報を見つけます。
3. 動的コンテキスト管理：Google Geminiが搭載し、顔の埋め込みを抱き締めるコンテキスト理解を備えたユーザークエリに適応します。
4. スケーラビリティ：大きなデータセットと複雑なクエリを簡単に処理するように設計されています。
5. モジュラー設計：追加のAIモデルまたはデータベースシステムを統合するための拡張可能なアーキテクチャ。

システムフローチャート

この構造は、インテリジェントクエリエンジンプロジェクトでさまざまなコンポーネントがどのように相互作用するかについての高レベルの概要を提供します。

インテリジェントクエリエンジン：

                    +---------------------+
                    |    User Query       |
                    | (Natural Language)  |
                    +----------+----------+
                               |
                               v
                   +-------------------------+
                   | Google Gemini / Hugging |
                   | Face Embeddings (NLP)   |
                   +-----------+-------------+
                               |
                               v
               +------------------------------+
               |      LangChain (Workflow)    |
               +-----------+------------------+
                               |
           +-------------------+------------------+
           |                                      |
           v                                      v
  +------------------+                   +-------------------+
  |   ChromaDB       |                   |   MySQL Database  |
  | (Vector Storage) |                   |  (Structured Data)|
  +------------------+                   +-------------------+
           |                                      |
           +-------------------+------------------+
                               |
                               v
                   +--------------------------+
                   |  SQL Query Generation    |
                   |  (Data Fetching)         |
                   +--------------------------+
                               |
                               v
                   +--------------------------+
                   |    Final Results         |
                   |   (Returned to User)     |
                   +--------------------------+

フロー説明：

1. ユーザークエリ（自然言語） ：ユーザーは自然言語でクエリを入力します。
2. Google Gemini / Hugging Face Embeddings ：これらのモデルは、クエリを処理し、理解とさらなる処理に適した形式に埋め込みました。
3. Langchain ：マルチステッププロセスを調整し、さまざまなコンポーネントを統合します。
4. ChromadB ：クエリの理解を支援するコンテキストベースの検索のためのベクトル埋め込みを保存します。
5. MySQLデータベース：実際のデータが存在するリレーショナルデータベース。
6. SQLクエリ生成：処理された自然言語クエリを正確なSQLステートメントに変換します。
7. 最終結果：クエリ実行の結果がユーザーに返されます。

✅アプリケーション

• ビジネスインテリジェンス：データについて複雑な質問をし、実用的な洞察を受け取ります。
• eコマース：自然言語の在庫、価格設定、販売データのクエリ。
• 調査：SQLの専門知識なしに、構造化されたデータセットからパターンと傾向を抽出します。
• データ分析チーム：データへのアクセスを民主化することにより、技術ユーザーと非技術ユーザーの間のギャップを埋めます。

？はじめる

このリポジトリには、ノートブック環境での初期実装が含まれています。生産対応システムへの移行には、コンポーネントをスケーラブルなインフラストラクチャに展開することが含まれます。

？コンポーネント

1. AIモデル：クエリ理解のためのGoogle GeminiとHugging Face Embeddings（ sentence-transformers/all-MiniLM-L6-v2 ）。
2. ベクトルデータベース：埋め込みを保存および取得するためのChromAdb。
3. リレーショナルデータベース：構造化されたデータストレージのMySQL。
4. オーケストレーション：検索、クエリの生成、データフェッチの埋め込みなどのステップをチェーンするためのLangchain。

？実験の結果：

• databaseデータベースのスナップショット

• RAW SQLクエリからの出力

• ？ AI（LLM）プロンプトクエリからの出力

注：Google Colab-NotebookでT4 GPUを使用して、このタスクを完了しました。