bert faiss qa systemダウンロード-BERT bert faiss qa systemソースコードダウンロード

bert faiss qa system

その他のソースコード

1.0.0

ダウンロード

BERTおよびFAISS VECTORデータベースを使用したQ＆Aシステム

BERTおよびFAISS VECTORデータベースを使用したQ＆Aシステム
- 目次
- 概要
- 特徴
- インストール
  - 要件
  - 設定
- 使用法
  - 合理化されたWebアプリインターフェイス
- それがどのように機能するか
- デモ
  - 抽出Q＆A
  - 閉じた生成Q＆A
- 謝辞

概要

このプロジェクトは、ベクターデータベースで効率的な類似性検索のために、テキスト表現とFAISS（Facebook AI類似性検索）のためにDistilbertを使用して実装された質問および回答システムです。このシステムは、ドキュメントの大規模なコレクションを検索することにより、ユーザークエリに正確で関連する回答を提供するように設計されています。

ワークフロー

特徴

Distilbertベースのテキスト表現：Distilbertモデルを利用して、質問やドキュメントを密なベクトル表現に変換します。
FAISS VECTORデータベース：高速類似性検索のために、ドキュメントのベクトル表現を保存します。
効率的な検索：FAISSベクターデータベースで効率的な類似性検索を実行することにより、特定の質問に最も関連性の高いドキュメントを見つけます。

インストール

要件

Python 3.x
Pytorch
トランス
ファイス
retrream（Webベースのインターフェイス用）

設定

リポジトリをクローンします：

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

リポジトリをクローンします：

pip install -r requirements.txt

Distilbertモデルをトレーニングしてダウンロードします：

python3 trainer.py

注：リンクで私のモデルを確認できます：https：//huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

FAISSベクターデータベースを作成します。

python3 faiss_index.py

ワークフロー

使用法

合理化されたWebアプリインターフェイス

streamlit run app.py

Webブラウザを開き、 http://localhost:8501/に移動して、WebベースのQ＆Aシステムを使用します。

それがどのように機能するか

Bert Embeddings ：
- 前処理されたテキストは、Distilbertモデルを使用してベクトル埋め込みに変換されます。
FAISSインデックス：
- ドキュメントのDistilbert埋め込みは、FAISSベクターデータベースにインデックス付けされています。
クエリ処理：
- ユーザーが質問を入力すると、質問はDistilbert埋め込みに変換されます。
- FAISSは、質問の埋め込みに最も類似した埋め込み（つまり、最も関連性の高いドキュメント）を見つけるために使用されます。
回答抽出：
- 関連するドキュメントがランク付けされており、最も関連性の高い回答パッセージが抽出され、ユーザーに提示されます。