local rag qa engine

로컬 걸레 기반 보안 문서 QA 엔진

설치

레포를 복제하십시오 :

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

의존성 설치 (시 필요) :

poetry install

LLM을 가져 오십시오 (LLAMA3.2 : 1B 기본적으로) :

ollama pull llama3.2:1b

Ollama 서버를 실행하십시오

ollama serve

Ragbase 시작 :

poetry run streamlit run app.py

섭취자

PDF 문서에서 텍스트를 추출하고 벡터 데이터베스에 저장된 청크 (시맨틱 및 캐릭터 스플리터 사용)를 만듭니다.

리트리버

쿼리가 주어지면 유사한 문서를 검색하고 결과를 재고하고 응답을 반환하기 전에 LLM 체인 필터를 적용합니다.

QA 체인

LLM을 리트리버와 결합하여 주어진 사용자 질문에 답하십시오.

기술 스택

• Ollama- 로컬 LLM을 실행하십시오
• Langchain- LLM 기반 앱 빌드
• QDRANT- 벡터 검색/데이터베이스
• FlashRank- 빠른 재고
• Fastembed- 가볍고 빠른 임베딩 생성
• SMLELIT- 데이터 앱 용 UI 빌드
• PDFIUM- PDF 처리 및 텍스트 추출