AI_Powered_Chat_bot_with_message_history

PDF 업로드 및 채팅 기록을 가진 대화 래그

이 프로젝트는 사용자가 PDF 파일을 업로드하고 컨텐츠를 추출하며 업로드 된 컨텐츠에 대한 질문을 할 수있는 대화식 검색 방지 생성 (RAG) 시스템 입니다. 이 시스템은 채팅 기록을 추적하고 과거 대화를 기반으로 사용자 질문을 맥락화하여 관련 답변을 제공합니다.

이 응용 프로그램은 사용자 인터페이스 용 Sleamlit , LLM (Language Model) 용 Groq를 통합하고 Chroma를 벡터 저장소로 문서 임베드 및 검색을 처리합니다. 대화 흐름은 채팅 기록과 함께 유지되어 상태의 질문 응답을 가능하게합니다.

특징

• PDF 업로드 : 사용자는 여러 PDF 파일을 업로드 할 수 있으며 컨텐츠가 처리 및 인덱싱됩니다.
• 질문 답변 : 업로드 된 PDF 문서에 대해 질문하면 조수가 내용에 따라 답변합니다.
• 채팅 기록 : 미래의 쿼리를 맥락화하기위한 과거의 질문과 답변을 추적합니다.
• Groq와의 통합 : 언어 모델링 및 응답 생성에 Groq API를 활용합니다.
• 임베딩 : HuggingFaceEmbeddings 사용하여 문서 임베딩을 작성하고 관련 콘텐츠를 검색합니다.

요구 사항

이 프로젝트를 실행하려면 다음이 필요합니다.

• 파이썬 3.7+
• Groq API 키
• 포옹 페이스 API 토큰

설치

1. 저장소 복제 :

   git clone https://github.com/yourusername/conversational-rag-with-pdf.git
   cd conversational-rag-with-pdf

2. 가상 환경 생성 :

   python3 -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`

3. 필요한 종속성 설치 :

   pip install -r requirements.txt

4. 환경 변수 설정 :

   루트 디렉토리에서 .env 파일을 만들고 API 키를 추가하십시오.

   touch .env

   .env 파일 내부에 다음을 추가하십시오.

   HF_TOKEN=your_huggingface_token
   GROQ_API_KEY=your_groq_api_key

5. 응용 프로그램 실행 :

   streamlit run utils.py

용법

1 단계 : Groq API 키를 입력하십시오

앱을 시작하면 먼저 GroQ API 키를 입력해야합니다. 이것은 언어 모델링 및 질문 답변을 수행하는 데 필요합니다.

2 단계 : PDF를 업로드하십시오

PDF 파일 선택 버튼을 클릭하여 하나 이상의 PDF 파일을 업로드하십시오. PDFS의 내용은 효율적인 검색을 위해 처리되어 청크로 분할됩니다.

3 단계 : 질문을합니다

PDF를 업로드 한 후 업로드 된 파일의 내용과 관련된 질문을 할 수 있습니다. 조수는 PDFS가 제공 한 맥락과 이전 채팅 기록에 따라 답변합니다.

4 단계 : 채팅 기록 관리

시스템은 대화 내역을 추적합니다. 세션 기록을 볼 수 있으며 조수는이 역사를 사용하여 후속 질문에 맥락에서 답변합니다.

예제 연습 :

1. 앱을 시작 하고 Groq API 키를 입력하십시오.
2. 묻고 싶은 콘텐츠가 포함 된 PDF를 업로드하십시오 .
3. 입력 필드에서 "3 장의 요약은 무엇입니까?"
4. 어시스턴트는 업로드 된 PDF 컨텐츠를 기반으로 응답하고 간결한 답변을 제공합니다.
5. 후속 질문을하면 시스템은 과거 대화를 사용하여 상황을 인식하는 응답을 제공합니다.

주요 구성 요소

• 간소화 : 사용자 인터페이스를 제공하고 상호 작용을 형성합니다.
• Chroma : 검색을 위해 분할 PDF 문서의 임베딩을 저장하기 위해 벡터 스토어로 사용됩니다.
• Groq API : Gemma2-9b-It 모델을 사용하여 질문 응답 작업을 처리합니다.
• Langchain : 채팅 기록 처리와 함께 검색 및 문서 조합 프로세스를 관리합니다.

향후 개선

• 다른 문서 유형 (예 : 단어, 텍스트 파일)에 대한 지원을 추가하십시오.
• 더 나은 사용자 상호 작용을 위해 UI를 개선하십시오.
• 영어 이외의 문서에 대한 다국적 지원을 추가하십시오.
• 세션에서 채팅 기록을 저장하고로드하기위한 시스템을 구현하십시오.

문제 해결

API 키 오류 또는 파일 업로드 문제와 같은 문제가 발생하면 다음을 확인하십시오.

• 유효한 Groq API 키 와 포옹 페이스 토큰이 있습니다.
• 업로드 된 PDF는 유효하며 PYPDFloader에서 읽을 수 있습니다.
• 모든 종속성은 pip install -r requirements.txt 통해 올바르게 설치됩니다.

감사의 말

• 놀라운 검색 및 LLM 통합 프레임 워크를위한 Langchain.
• 사용하기 쉬운 UI 프레임 워크를 제공하기위한 간소화.