RAG Architecture

? 랑 체인을 사용한 헝겊으로부터 멀티 모달 문서 처리 래그?

이 프로젝트는 멀티 모달 문서를 처리하고 Milvus 데이터베이스를 쿼리하기위한 간단한 응용 프로그램 입니다. Langchain , Transformers , Easyocr 및 기타 다른 파일 유형에서 추출한 텍스트를 처리, 저장 및 쿼리하기 위해 최첨단 도구를 활용합니다.

---

특징

파일 처리 업로드 :

• audio , video , image , text , csv , yaml , json , docx 및 pdf 의 여러 파일 유형을 지원합니다.
• 다음을 사용하여 텍스트 콘텐츠를 추출합니다.
  • ? 오디오 : speech_recognition 및 pydub .
  • ? 비디오 : 사용자 정의 추출 로직.
  • ? 슬 이미지 : EasyOCR .
  • ? 텍스트/로그/문서 : Langchain 로더.

Milvus 통합 :

• ? ️ 유사성 기반 쿼리를위한 처리 된 문서 임베드.
• ? 벡터 표현을 생성하기 위해 HuggingFaceEmbeddings 사용합니다.

? 쿼리 인터페이스 :

• 자연어 쿼리 인터페이스.
• AI 중심 응답을위한 검색 세대 생성 (RAG) 파이프 라인을 구현합니다.

---

설치

? 전제 조건

• 파이썬 3.8+
• pip 또는 conda 패키지 관리자
• CUDA 호환 GPU (더 빠른 처리를위한 선택 사항)

? 포크와 저장소를 복제하십시오

1. 포크 저장소 : Rag-Ararchitecture Github 리포지토리로 이동하여 포크를 클릭하십시오.

2. 포크 리포지토리를 복제하십시오 .

   git clone https://github.com/ < your-username > /RAG-Architecture.git
   cd RAG-Architecture
   

? 종속성을 설치하십시오

pip install -r requirements.txt

용법

응용 프로그램을 시작하십시오

간단한 앱 실행 :

streamlit run app.py

응용 프로그램 모드

? 파일 업로드 :

• 파일을 업로드하여 Milvus에 콘텐츠를 처리하고 저장하십시오.
• 추출 된 컨텐츠와 데이터베이스에 내장을 표시합니다.

쿼리 :

• Milvus 데이터베이스에서 관련 정보를 검색하고 검색하려면 질문을 입력하십시오.
• Langchain의 Rag Pipeline을 사용하여 AI 생성 응답을 반환합니다.

? 파일 구조

 # # ? **File Structure**

` ` ` bash
project/
│
├── app.py                      #  Main Streamlit application
├── requirements.txt            # ? Python dependencies
├── utils/                      #  Utility modules
│   ├── audio_utils.py          # ? Audio file processing
│   ├── video_utils.py          # ? Video file processing
│   ├── image_utils.py          # ?️ Image file processing
│   ├── document_loaders.py     #  Document processing loaders
│   ├── milvus_client.py        # ?️ Initializes Milvus database
│
├── milvus_database.db          # ?️ Milvus database file (auto-created)
├── Dataset                     #  Folder to store datasets
├── Images                      # ? Folder for storing images

? 주요 모듈

app.py

? 주요 응용 프로그램 논리

• 파일 업로드, 문서 처리 및 쿼리를 처리합니다.

utils/

• ? 오디오 : 오디오를 청크로 나누고 텍스트를 전사합니다.
• ? 비디오 : 비디오 파일을 처리하여 콘텐츠를 추출하고 분석합니다.
• ? 슬 이미지 : 텍스트를 추출하기 위해 EasyOcr을 사용합니다.
• 로그/문서 : CSV, YAML, JSON 및 PDF 파일을 구조화 된 Langchain 문서로 처리합니다.

---

예제 워크 플로

? 파일 업로드

1. "파일 업로드" 모드를 선택하십시오.
2. 파일 업로드 (예 : example.pdf ).
3. 파일을 데이터베이스에 처리하고 저장하십시오.

❓ 데이터베이스 쿼리

1. "쿼리" 모드를 선택하십시오.
2. 자연어 질문을 입력하십시오.
3. 간결하고 사실 기반 반응을받습니다.

---

? 향후 개선

• ? 고급 쿼리 기능을 추가로 추가하십시오.
• 추가 파일 유형 및 임베딩에 대한 지원을 향상시킵니다.
• ⚡ 더 큰 데이터 세트의 확장 성을 향상시킵니다.

---

라이센스이 프로젝트는 MIT 라이센스 에 따라 라이센스가 부여됩니다.

---

? 감사의 말

• 대화식 UI에 대한 간소화 .
• 문서 처리, 검색 및 벡터 DB를위한 Langchain 및 Milvus .
• ? 임베딩 생성을위한 변압기 .
• ? 이미지 텍스트 추출을위한 EasyOcr .
• ? 비디오 처리를위한 Moviepy .