CollegeChatbot

カレッジQ＆Aチャットボット

このプロジェクトは、大規模な言語モデル（LLMS）、テキスト埋め込み、検索された生成（RAG）、および迅速なエンジニアリング技術の組み合わせを使用して、グローバルアカデミーオブテクノロジー（GAT）に関連する質問に答えるように設計されたQ＆Aチャットボットです。チャットボットは、テキストとオーディオの両方の入力を処理でき、会話履歴とプリロードドキュメントに基づいて関連する回答を提供できます。

特徴

• テキストとオーディオ入力：テキスト入力または音声録音を介してユーザークエリを受け入れます。
• 検索された生成（RAG） ：プリロードされたドキュメントから取得された関連情報を使用して応答を強化します。
• コンテキスト認識応答：会話の履歴を利用して、一貫したコンテキストに適切な答えを提供します。
• Streemlit Interface ：Friremlitで構築されたユーザーフレンドリーインターフェイス。フォローアップモードと検索深度のカスタマイズのオプションを備えています。

インストール

1. リポジトリをクローンします

   git clone https://github.com/mahadev0811/CollegeChatbot.git
   cd CollegeChatbot

2. 仮想環境を作成します

   python -m venv venv
   source venv/bin/activate   # On Windows use `venvScriptsactivate`

3. 依存関係をインストールします

   pip install -r requirements.txt

4. APIキーを構成します

   • Google APIキーを使用して、ルートディレクトリにconfig.jsonファイルを作成します。

   {
     "google_api_key" : " YOUR_GOOGLE_API_KEY "
   }

使用法

1. アプリケーションを実行します

   streamlit run st_app.py

2. チャットボットと対話します

   • テキスト入力ボックスまたはオーディオレコーダーを使用して、クエリを送信します。
   • サイドバーオプションを使用して設定を調整します。
     • フォローアップの質問モード：トグルして、回答に会話履歴を使用します。
     • 深さの検索：段落の数を調整して、関連情報をドキュメントで検索します。

プロジェクト構造

• st_app.py ：メインアプリケーションスクリプト。
• embedding_generator.py ：データファイルから埋め込みを生成するためのスクリプト。
• webscrapper.ipynb ：jupyterノートブックRAWデータファイルを生成するためにURLからテキストデータを削減します。
• config.json ：APIキーの構成ファイル。
• 要件.txt ：必要なPythonパッケージのリスト。
• data_generation/gat_raw.txt ：GATに関する情報を含む生の削られたデータ。
• data_generation/gat_refined.txt ：生データの人間の監視および編集されたバージョン。
• gat_embeddings.pkl ：プリロードされたドキュメントの事前計算された埋め込み。

データの生成

最初のRAWデータファイル（ gat_raw.txt ）を生成するには、 webscrapper.ipynbノートブックを使用します。このノートブックは、指定されたURLからテキストコンテンツを削り、適切にフォーマットします。

埋め込みの生成

データファイルから埋め込みを生成するには、 embedding_generator.pyスクリプトを使用します。このスクリプトは、データを含むテキストファイルを読み取り、 flagembeddingモデルを使用して埋め込みを生成し、埋め込みをピクルスファイルとして保存します。

埋め込みジェネレーターの実行

データファイルを準備します

• データファイル（data_generation/gat_refined.txtなど）が正しい形式で、段落がダブルニューライン（ n n）で区切られていることを確認します。

スクリプトを実行します

• 引数としてデータファイルへのパスを使用して、埋め込み_generator.pyスクリプトを実行します。

  python embedding_generator.py --data_file data_generation/gat_refined.txt

• スクリプトは、データファイルの段落の埋め込みを生成し、ピクルスファイル（ gat_embeddings.pkl ）として保存します。

スクリーンショット

• このビデオは、Chatbotの動作を示しており、GATについての質問に答えます。

recordings.mp4

クレジット

• flagembedding：クエリのエンコードに使用されるカスタム埋め込みモデル。
• Streamlit：MLおよびデータサイエンスプロジェクト向けのオープンソースアプリフレームワーク。
• ハグのフェイストランス：最先端のNLPモデルのライブラリ。
• Google Cloud Cloud Speech-tostextAPI：音声をテキストに変換するためのサービス。
• Google Generative AI：応答の生成に使用されます。

ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。