rag console chat

RAG 콘솔 채팅 응용 프로그램 : 더 나은 정보 검색 및 생성

개요

방대한 문서 저장소에서 상호 작용하는 방식을 변환하고 추출하는 방식을 변환하도록 설계된 간단하지만 강력한 도구 인 Rag Console Chat 응용 프로그램에 오신 것을 환영합니다. 이 프로젝트는 문서 섭취, 삽입 생성 및 검색 세대 (RAG)를 구현합니다. 데이터와 채팅하거나 복잡한 주제를 요약하려는 경우 RAG 콘솔 채팅 응용 프로그램은 지능형 정보 처리를위한 도구입니다.

사용 된 기술

• Python : 강력하고 유연한 프로그래밍 환경을 제공하는 응용 프로그램의 중추.
• OpenAI API : 임베딩 및 응답을 생성하는 데 사용하여 고품질 및 상황에 맞는 출력을 보장합니다.
• ChromADB : 문서 임베딩을 효율적으로 저장하고 검색하는 강력한 벡터 데이터베이스.
• Rich & 질문 : 대화식 및 시각적으로 매력적인 명령 줄 인터페이스를 만드는 라이브러리.

개념 및 구성 요소

검색 세대 (rag)

Rag는 정보 검색 및 자연어 생성의 강점을 결합한 새로운 접근법입니다. 그것은 큰 문서의 큰 코퍼스에서 관련 컨텍스트를 통합하여 생성 된 응답의 품질을 향상시킵니다. Rag Pipeline은 다음을 구현합니다.

1. 문서 섭취 : 다양한 형식 (TXT, PDF, DOCX)의 문서로드 및 처리.
2. 삽입 생성 : OpenAI의 모델을 사용하여 텍스트를 의미 론적 의미를 포착하는 고차원 벡터로 변환합니다.
3. 벡터 스토어 : 이러한 임베딩을 ChromADB에 저장하여 효율적인 유사성 검색을 가능하게합니다.
4. 응답 생성 : 검색된 문서 청크를 활용하여 정확하고 맥락 인식 응답을 생성합니다.

벡터 데이터베이스

ChromADB와 같은 벡터 데이터베이스는 임베딩을 저장하고 쿼리하는 데 필수적입니다. 벡터 유사성을 기반으로 유사한 문서를 빠르게 검색 할 수 있으며, 이는 RAG 프로세스에 중요합니다.

임베딩

임베딩은 의미 정보를 캡처하는 텍스트의 수치 표현입니다. 문서 유사성 및 클러스터링과 같은 작업을 용이하게하는 의미있는 방식으로 텍스트 데이터를 비교할 수 있습니다.

특징

• 대화식 채팅 모드 : 대화 인터페이스에 참여하여 문서 코퍼스를 기반으로 질문을하고 답변을받습니다.
• 요약 모드 : 가장 관련성이 높은 문서 청크를 사용하여 주제의 간결한 요약을 생성합니다.
• 문서 처리 : 문서를 자동으로 수집하고 처리하여 효율적인 저장 및 검색을 위해 관리 가능한 청크로 분할합니다.
• 임베딩 관리 : 새로운 문서의 임베딩을 생성하고 저장하여 벡터 스토어가 항상 최신 상태인지 확인하십시오.
• 크로스 플랫폼 지원 : Windows, MacOS 및 Linux에서 응용 프로그램을 원활하게 실행합니다.
• 더 나은 코딩 관행 : 싱글 톤 및 공장과 같은 OOPS 개념 및 디자인 패턴과 다른 모범 사례와 함께 사용합니다.
• 로깅 : 로깅을 사용하여 응용 프로그램의 활동을 다른 수준으로 추적합니다.
• Rich & 질문 : 대화식 및 시각적으로 매력적인 명령 줄 인터페이스를 만드는 라이브러리.

설정 지침

로컬 컴퓨터에서 RAG 파이프 라인을 설정하려면 다음 단계를 따르십시오.

1. Python 3.10+를 설치하십시오 : 여기에서 다운로드 및 설치하십시오

2. Microsoft Visual Studio C ++ 빌드 도구 설치 : 일부 종속성을 컴파일하는 데 필요합니다. 여기에서 다운로드하고 설치하십시오.

3. 저장소 복제 :

   git clone https://github.com/olifarhaan/rag-console-chat.git
   cd rag-console-chat

4. 파이썬 종속성 설치 : Python 3.8+가 설치되어 있는지 확인하십시오. 그런 다음 가상 환경을 만들고 필요한 패키지를 설치하십시오.

   python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   pip install -r requirements.txt

5. 환경 변수 설정 : 루트 디렉토리에서 .env 파일을 만들고 OpenAI API 키를 추가하십시오.

    OPENAI_API_KEY=your_openai_api_key
   

6. 응용 프로그램 실행 : 실행하여 Rag 파이프 라인을 시작하십시오.

   python app.py

7. 응용 프로그램과 상호 작용하십시오 : 명령 줄 인터페이스를 사용하여 채팅 및 요약 모드 중에서 선택하고 Rag 파이프 라인의 기능을 탐색하십시오.

결론

Rag Console Chat 응용 프로그램은 문서 처리 및 정보 검색 기능을 향상 시키도록 설계된 간단하지만 강력한 도구입니다. 고급 기능과 사용자 친화적 인 인터페이스를 통해 현대 AI 기술의 힘에 대한 증거가됩니다. 헝겊의 세계로 뛰어 들어 오늘날 지능형 정보 시스템의 미래를 경험하십시오.

• 라이센스 :이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 원래 라이센스 및 저작권 통지가 소프트웨어의 모든 사본 또는 실질적인 부분에 포함되어 있다면 소프트웨어를 자유롭게 사용, 수정 및 배포 할 수 있습니다.

• 다이어그램 : 다이어그램은 Mermaid를 사용하여 작성되었습니다.

• 연락처 : 질문이나 피드백은 [email protected]으로 문의하거나 LinkedIn @olifarhaan으로 메시지를 보내주십시오.