bert faiss qa system

BERT 및 FAISS 벡터 데이터베이스를 사용하는 Q & A 시스템

---

목차

• BERT 및 FAISS 벡터 데이터베이스를 사용하는 Q & A 시스템
  • 목차
  • 개요
  • 특징
  • 설치
    • 요구 사항
    • 설정
  • 용법
    • 간소화 웹 앱 인터페이스
  • 작동 방식
  • 데모
    • 추출 Q & A
    • 폐쇄 생성 Q & A
  • 감사의 말

---

개요

이 프로젝트는 벡터 데이터베이스에서 효율적인 유사성 검색을 위해 Distilbert (Facebook AI 유사성 검색)를 사용하여 구현 된 질문 및 답변 시스템입니다. 이 시스템은 대규모 문서 모음을 검색하여 사용자 쿼리에 대한 정확하고 관련성있는 답변을 제공하도록 설계되었습니다.

특징

• Distilbert 기반 텍스트 표현 : Distilbert 모델을 사용하여 질문과 문서를 조밀 한 벡터 표현으로 변환합니다.

• FAISS 벡터 데이터베이스 : 빠른 유사성 검색을 위해 문서의 벡터 표현을 저장합니다.

• 효율적인 검색 : FAISS Vector 데이터베이스에서 효율적인 유사성 검색을 수행하여 주어진 질문에 가장 관련성이 높은 문서를 찾습니다.

---

설치

요구 사항

• 파이썬 3.x
• Pytorch
• 변압기
• Faiss
• sleamlit (웹 기반 인터페이스 용)

설정

1. 저장소 복제 :

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. 저장소 복제 :

pip install -r requirements.txt

3. Distilbert 모델을 훈련하고 다운로드하십시오.

python3 trainer.py

참고 : 링크에서 내 모델을 확인할 수 있습니다 : https://huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

4. FAISS 벡터 데이터베이스 구축 :

python3 faiss_index.py

---

용법

간소화 웹 앱 인터페이스

streamlit run app.py

---

웹 브라우저를 열고 http://localhost:8501/ 로 이동하여 웹 기반 Q & A 시스템을 사용하십시오.

작동 방식

1. 버트 임베딩 :

   • 전처리 된 텍스트는 Distilbert 모델을 사용하여 벡터 임베딩으로 변환됩니다.

2. FAISS 인덱싱 :

   • 문서의 Distilbert 임베딩은 Faiss Vector 데이터베이스에 색인되어 있습니다.

3. 쿼리 처리 :

   • 사용자가 질문을 입력하면 문제가 Distilbert 임베딩으로 변환됩니다.
   • FAISS는 질문 임베딩과 가장 유사한 임베딩 (예 : 가장 관련성이 높은 문서)을 찾는 데 사용됩니다.

4. 답변 추출 :

   • 관련 문서는 순위가 매겨지며 가장 관련성이 높은 답변 구절이 추출되어 사용자에게 제시됩니다.

---

데모

추출 Q & A

폐쇄 생성 Q & A

---

감사의 말

• 포옹 얼굴 변압기
• Facebook AI 유사성 검색 (FAISS)