RAG Pipeline

래그 (검색 증강 세대) 파이프 라인

• 나는 헝겊 파이프 라인을 구축하여 추가 데이터로 지식을 강화할 수있는 방법을 보여주었습니다.

헝겊 파이프 라인에 대한 시각적 설명

설명

• Rag는 추가 데이터로 LLM 지식을 강화하는 기술입니다.
• LLM은 광범위한 주제에 대해 추론 할 수 있지만, 그들의 지식은 훈련을받은 특정 시점까지 공개 데이터로 제한됩니다.
• 모델의 컷오프 날짜 이후에 도입 된 개인 데이터 또는 데이터에 대한 추론을 추론 할 수있는 AI 애플리케이션을 구축하려면 필요한 특정 정보로 모델에 대한 지식을 보강해야합니다.
• 적절한 정보를 가져와 모델 프롬프트에 삽입하는 프로세스를 검색 증강 생성 (RAG)이라고합니다.

사용 된 라이브러리

• langchain == 0.1.20
• Langchain-Community == 0.0.38
• BS4 == 0.0.2
• pypdf == 4.2.0
• ChromADB == 0.5.0

설치

1. 전제 조건
   • git
   • 명령 라인 친숙 함
2. 저장소 복제 : git clone https://github.com/NebeyouMusie/RAG-Pipeline.git
3. 가상 환경 생성 및 활성화 (권장)
   • python -m venv venv
   • source venv/bin/activate
4. 터미널을 사용하여 Projects Directory cd ./RAG-Pipeline 으로 이동하십시오.
5. 라이브러리 설치 : pip install -r requirements.txt
6. rag_pipeline.ipynb 노트북에서 모든 셀을 열고 실행하십시오
7. 또는 저장소의 notebook 디렉토리에서 files 디렉토리와 rag_pipeline.ipynb 노트북에서 문서를 다운로드하고 해당 파일과 노트북을 Google Collab에 업로드 한 다음 rag_pipeline.ipynb 노트북에서 모든 셀을 실행하십시오.

협동

• 협력은 환영합니다

감사의 말

• Krish Naik에게 감사하고 싶습니다

연락하다

• LinkedIn : Nebeyou Musie
• Gmail : [email protected]
• 전보 : Nebeyou Musie