NLP Question Answering

高校の歴史の質問のための質問応答システム。

最初にscraping.py、次にirmodel.py、およびlast generativeai.pyを実行します

必要な各CSVファイルは、以前のPythonファイルによって作成されます。

概要

このプロジェクトでは、高校生向けの高度な質問回答システムの開発に焦点を当てています。このシステムの主な目的は、履歴関連の質問に効率的に回答し、学習の旅を支援するための正確で関連性のある情報を提供することです。

手順の処理

ウェブスクレイピング

Webスクレイピングフェーズでは、さまざまなWebソースから関連情報をプログラム的に抽出します。このプロセスには、Webページのクロール、HTMLコンテンツの抽出、データの解析、構造化形式に変換されます。

情報検索（TF-IDF/SBERT）

次のステップは情報検索であり、TF-IDF（用語周波数逆のドキュメント頻度）やStbert（Sente-Bert）などの手法を使用して、収集されたテキストデータを効果的にインデックス化および検索します。 TF-IDFは、ドキュメントコーパス内の各単語の重要性を計算しますが、Stbertはトランスベースのモデルを使用して、文または段落のコンテキスト認識埋め込みを生成します。これらの方法を使用することにより、特定の質問に関連する関連文書またはパッセージを効率的に取得できます。

生成AI

プロセスの最後のステップには、与えられた質問に対する人間のような反応を生成することを目的とする生成AIが含まれます。生成AIモデルは、膨大な量のデータから学習し、入力の質問に基づいてコヒーレントで文脈的に関連する回答を生成します。これらのモデルには、言語パターン、セマンティクス、およびコンテキストを理解する能力があり、自然で有益に見える応答を生成できるようにします。