CUDAQuest Semantic Crawl to Answer Engine

CUDAドキュメントQAシステム

このプロジェクトは、CUDAドキュメントのための質問応答（QA）システムを実装しています。 Nvidia Cudaのドキュメントをクロールし、データを処理し、ベクトルデータベースに保存し、高度な検索技術を使用してユーザークエリに答える。

特徴

• nvidia cudaドキュメントのWebクローリング
• セマンティックの類似性に基づいて、高度なデータチャンキング
• Milvusデータベースの作成とストレージのベクトル埋め込み
• 改善された検索のためのクエリ拡張
• BM25とBERTベースの方法を組み合わせたハイブリッド検索
• 言語モデルを使用した質問に答える

セットアップ手順

前提条件

• Python 3.7+
• PIP（Pythonパッケージインストーラー）

インストール

1. リポジトリをクローンします：
2. 仮想環境を作成します（オプションですが推奨）：
3. 必要な依存関係をインストールします。

依存関係

このプロジェクトの主な依存関係は次のとおりです。

• スクラピー：ウェブクロール用
• Sente-Transformers：テキストの埋め込み用
• NLTK：自然言語処理タスク用
• RANK_BM25：BM25検索用
• トーチとトランス：トランスモデルを操作するため
• Restream -Lit：Webアプリケーションを作成するため
• Selenium and webdriver_manager：Webスクレイピング用
• Pymilvus：Milvus Vectorデータベースと対話するため

依存関係の完全なリストについては、 requirements.txtファイルを参照してください。

システムを実行します

1. Milvusサーバーが実行されていることを確認してください。インストールおよびセットアップの手順については、Milvusドキュメントを参照してください。

2. メインスクリプトを実行します。3。システムは、CUDAドキュメントをクロールし、データを処理し、Milvusデータベースに保存することから始めます。この最初のセットアップには時間がかかる場合があります。

3. セットアップが完了したら、CUDAについて質問を始めることができます。システムは、取得された情報に基づいて回答を提供します。

4. システムを終了するには、質問が求められたら「QUIT」と入力します。

プロジェクト構造

• main.py ：プロセス全体を調整するメインスクリプト。
• crawler/web_crawler.py ：Webクロールロジックが含まれています。
• data_processing/chunking.py ：高度なデータチャンキングテクニックを実装します。
• data_processing/embedding.py ：ベクトル埋め込みの作成を処理します。
• vector_db/milvus_db.py ：Milvusデータベースとの相互作用を管理します。
• retrieval/query_expansion.py ：クエリ拡張手法を実装します。
• retrieval/hybrid_retrieval.py ：ハイブリッド検索ロジックが含まれています。
• qa/llm_qa.py ：言語モデルを使用して質問回答プロセスを管理します。

カスタマイズ

• main.pyのSentenceTransformerモデルを変更することにより、埋め込みモデルを調整できます。
• Webクロールの深さは、 crawl_data関数（現在5レベルに設定されている）で調整できます。
• 回答用の検索されたチャンクの数は、 retrieveメソッド呼び出しでtop_kパラメーターを変更することで変更できます。

トラブルシューティング

問題が発生した場合：

• すべての依存関係が正しくインストールされていることを確認してください。
• Milvusサーバーが実行され、アクセス可能であることを確認してください。
• Webクロールとモデルのダウンロードのための安定したインターネット接続があることを確認してください。

永続的な問題については、GitHubリポジトリで問題を開いてください。