airgapped offfline rag

공기 갭 오프라인 헝겊

Vincent KOC 의이 프로젝트는 문서에 대한 검색 세대 (RAG) 기반 질문 응답 시스템을 구현합니다. LLAMA 3, MISTRAL 및 GEMINI 모델을 사용하여 LLAMA C ++, 오케스트레이션 용 Langchain, 벡터 저장을위한 ChromADB 및 사용자 인터페이스의 경우 간소를 사용합니다.

목차

• 공기 갭 오프라인 헝겊
  • 목차
  • 설정
  • 응용 프로그램 실행
    • 장소 상에서
    • Docker 사용
  • 용법
  • 구성
  • 특징
    • 지원되는 기능
    • 미래의 기능
  • 기여
  • 특허
  • 감사의 말

설정

1. Python 3.9가 설치되었는지 확인하십시오 : pyenv 사용할 수 있습니다.

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. 가상 환경을 만들고 종속성을 설치하십시오 .

    make setup
   

3. 모델 다운로드 : LLAMA 3 (8B) 및 MISTRAL (7B) 모델을 GGUF 형식으로 다운로드하여 models/ 디렉토리에 배치하십시오. Hugging Face의 TheBloke 여기에서 모델을 공유했습니다.

   • Mistral-7b-Instruct-V0.2-Gguf
   • LLAMA-PO-8B- 강조 -GGUF

   unsloth 의 모델도 테스트되었으며 여기에서 찾을 수 있습니다.

   • Gemma-2-2B-It.q2_k.gguf
   • LLAMA-3.2-3B-Instruct-Q2_K.gguf

4. Qdrant Sentence Transformer 모델 : 첫 번째 실행에 자동으로 다운로드됩니다. 에어 갭 래그를 로컬로 실행하는 경우 처음에 인터넷 액세스로 코드베이스를 실행하여 모델을 다운로드하는 것이 가장 좋습니다.

응용 프로그램 실행

장소 상에서

 make run

Docker 사용

 make docker-build
make docker-run

용법

1. 파일 업 로더를 사용하여 PDF 문서를 업로드하십시오 .
2. 사용하려는 모델 (예 : Mistral)을 선택하십시오 .
3. 텍스트 입력에 질문을 입력하십시오 .
4. "답변 생성"을 클릭하여 문서 내용에 따라 응답을 얻으십시오.

구성

config.yaml 에서 설정을 조정하여 모델 경로, 청크 크기 및 기타 매개 변수를 수정하십시오.

특징

지원되는 기능

• LLAMA C ++에 대한 국소 추론
• 라마 3 (3 및 3.1)에 대한 모델 지원
• 미스트랄에 대한 모델 지원
• 쌍둥이 자리에 대한 모델 지원
• 양자화 된 모델에 대한 지원
• 업로드 및 처리를 문서화합니다
• 질문 응답 시스템
• 벡터 저장 용 문장 변압기 모델
• UI 용 Sleamlit과 통합
• 스트리밍 응답 지원

미래의 기능

• 추가 모델과의 통합 (곧 출시)
• 비 PDF 문서 지원 (곧 출시)
• 이미지 문서 지원 (곧 출시)
• 임베딩 시각화 지원 (곧 출시)
• 채팅 기록 지원 (곧 출시)
• 향상된 사용자 인터페이스 (곧 출시)
• 멀티 모달 문서 지원 (곧 출시)
• 래그 구성 내보내기 및 가져 오기 (곧 출시)
• 휴식 API 노출 (곧 출시)
• 관찰 가능성 (곧 출시)

기여

기부금을 환영합니다! 저장소를 포크하고 풀 요청을 제출하십시오. 주요 변경 사항을 위해 먼저 문제를 열어 변경하고 싶은 것을 논의하십시오.

특허

이 프로젝트는 GNU General Public License v3.0 (GPLV3)에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

이것은 다음을 의미합니다.

• 이 소프트웨어를 자유롭게 사용, 수정 및 배포 할 수 있습니다.
• 이 소프트웨어를 수정하거나 확장하면 GPL에서 변경 사항을 해제해야합니다.
• 원래 저작권 통지와 GPL 라이센스의 전체 텍스트를 포함해야합니다.
• 이 무료 소프트웨어에 대한 보증은 없습니다.

자세한 내용은 GNU GPL V3를 방문하십시오.

감사의 말

• 양자화 된 모델을 공유해 주신 TheBloke와 Unsloth에게 감사합니다.
• 이 프로젝트는 다양한 오픈 소스 라이브러리를 사용합니다. 자세한 내용은 요구 사항을 참조하십시오.