NLP Question Answering

고등학교 역사 질문에 대한 질문 응답 시스템.

먼저 scraping.py, irmodel.py 및 마지막 Generativeai.py를 실행하십시오

필요한 각 CSV 파일은 이전 Python 파일에 의해 생성됩니다.

개요

이 프로젝트에서는 고등학생을위한 고급 질문 응답 시스템을 개발하는 데 중점을 둡니다. 이 시스템의 주요 목표는 역사 관련 질문에 효율적으로 답변하여 학생들이 학습 여정에 도움을 줄 수있는 정확하고 관련된 정보를 제공하는 것입니다.

처리 단계

웹 스크래핑

웹 스크래핑 단계에서는 다양한 웹 소스에서 관련 정보를 프로그래밍 적으로 추출합니다. 이 프로세스에는 웹 페이지를 크롤링하고 HTML 컨텐츠를 추출하고 데이터를 구문 분석하고 구조화 된 형식으로 변환하는 것이 포함됩니다.

정보 검색 (TF-IDF/SBERT)

다음 단계는 정보 검색입니다. 여기서 TF-IDF (Term-Frequency Inverse Documentency) 및 SBERT (문장 -BERT)와 같은 기술을 사용하여 수집 된 텍스트 데이터를 효과적으로 색인하고 검색합니다. TF-IDF는 문서 코퍼스에서 각 단어의 중요성을 계산하는 반면, SBERT는 변압기 기반 모델을 사용하여 문장 또는 단락에 대한 컨텍스트 인식 임베드를 생성합니다. 이러한 방법을 사용함으로써 주어진 질문과 관련된 관련 문서 나 구절을 효율적으로 검색 할 수 있습니다.

생성 AI

이 과정의 마지막 단계는 주어진 질문에 대한 인간과 같은 반응을 생성하는 것을 목표로하는 생성 AI를 포함합니다. 생성 AI 모델은 방대한 양의 데이터에서 배우고 입력 질문에 따라 일관되고 문맥 상 관련 답변을 생성합니다. 이 모델은 언어 패턴, 의미 및 컨텍스트를 이해할 수있어 자연스럽고 유익한 것처럼 보이는 응답을 생성 할 수 있습니다.