CUDAQuest Semantic Crawl to Answer Engine

CUDA 문서 QA 시스템

이 프로젝트는 CUDA 문서화에 대한 질문 답변 (QA) 시스템을 구현합니다. NVIDIA CUDA 문서를 크롤링하고 데이터를 처리하고 벡터 데이터베이스에 저장하며 고급 검색 기술을 사용하여 사용자 쿼리에 답변합니다.

특징

• NVIDIA CUDA 문서의 웹 크롤링
• 시맨틱 유사성을 기반으로 한 고급 데이터 청킹
• Milvus 데이터베이스의 벡터 임베딩 생성 및 스토리지
• 개선 된 검색을위한 쿼리 확장
• BM25와 BERT 기반 방법을 결합한 하이브리드 검색
• 언어 모델을 사용하여 답변하는 질문

설정 지침

전제 조건

• 파이썬 3.7+
• PIP (파이썬 패키지 설치 프로그램)

설치

1. 저장소 복제 :
2. 가상 환경을 만듭니다 (선택 사항이지만 권장) :
3. 필요한 종속성 설치 :

의존성

이 프로젝트의 주요 종속성은 다음과 같습니다.

• 스크레이프 : 웹 크롤링 용
• 문장 트랜스 포어머 : 텍스트 임베딩 용
• NLTK : 자연어 처리 작업
• RANK_BM25 : BM25 검색의 경우
• Torch and Transformers : 변압기 모델로 작업합니다
• 간소화 : 웹 응용 프로그램 생성
• Selenium 및 Webdriver_Manager : 웹 스크래핑 용
• Pymilvus : Milvus 벡터 데이터베이스와 상호 작용합니다

전체 종속성 목록은 requirements.txt 파일.

시스템 실행

1. Milvus 서버가 실행 중인지 확인하십시오. 설치 및 설정 지침은 Milvus 문서를 참조하십시오.

2. 기본 스크립트를 실행합니다. 3. 시스템은 CUDA 문서를 크롤링하고 데이터 처리 및 Milvus 데이터베이스에 저장하여 시작합니다. 이 초기 설정에는 시간이 걸릴 수 있습니다.

3. 설정이 완료되면 CUDA에 대한 질문을 시작할 수 있습니다. 시스템은 검색된 정보를 기반으로 답변을 제공합니다.

4. 시스템을 종료하려면 질문이 제기되면 '종료'를 입력하십시오.

프로젝트 구조

• main.py : 전체 프로세스를 오케스트레이션하는 메인 스크립트.
• crawler/web_crawler.py : 웹 크롤링 로직을 포함합니다.
• data_processing/chunking.py : 고급 데이터 청크 기술을 구현합니다.
• data_processing/embedding.py : 벡터 임베딩의 생성을 처리합니다.
• vector_db/milvus_db.py : Milvus 데이터베이스와의 상호 작용을 관리합니다.
• retrieval/query_expansion.py : 쿼리 확장 기술을 구현합니다.
• retrieval/hybrid_retrieval.py : 하이브리드 검색 논리가 포함되어 있습니다.
• qa/llm_qa.py : 언어 모델을 사용하여 질문 응답 프로세스를 관리합니다.

사용자 정의

• main.py 에서 SentenceTransformer 모델을 수정하여 임베딩 모델을 조정할 수 있습니다.
• 웹 크롤링 깊이는 crawl_data 기능 (현재 5 레벨로 설정)에서 조정할 수 있습니다.
• retrieve 메소드 호출에서 top_k 매개 변수를 변경하여 응답을 위해 검색된 청크의 수를 수정할 수 있습니다.

문제 해결

문제가 발생하면 다음과 같습니다.

• 모든 종속성이 올바르게 설치되었는지 확인하십시오.
• Milvus 서버가 실행되고 액세스 할 수 있는지 확인하십시오.
• 웹 크롤링 및 모델 다운로드에 대한 인터넷 연결이 안정적인 지 확인하십시오.

지속적인 문제는 Github 저장소에서 문제를 열어주십시오.