custom rag app

맞춤형 래그 앱

일반적인

헝겊 파이프 라인 생성을위한 사용자 친화적 인 인터페이스를 제공하기 위해 Streamlit을 사용하는 앱. 이 앱을 통해 사용자는 자신의 PDF FIE를 업로드 할 수 있으며, 이는 새 (또는 기존) 벡터 데이터베이스에 처리 및 저장됩니다.

그런 다음 사용자는 데이터베이스를 쿼리하고 LLM 모델에서 생성 된 가장 관련성이 높은 응답을받을 수 있습니다. 우리가 사용하기로 선택한 LLM은 Gemma : 2B 모델이며 모델 서빙의 경우 Ollama를 사용합니다.

이 앱은 또한 기존 데이터베이스를 삭제하는 기능을 제공하지만 현재이 기능은 Windows의 경우 제한되어 있습니다.

설정

앱을 실행하려면 먼저이 저장소를 복제해야합니다. 이것은 명령으로 수행 할 수 있습니다.

git clone https://github.com/Jimlibo/custom-rag-app.git

저장소를 복제 한 후 앱 디렉토리로 이동할 수 있습니다.

 cd custom-rag-app

Docker를 사용하여 실행하십시오

Docker와 Docker-Compose가 설치된 경우 다음 명령으로 앱을 실행할 수 있습니다.

docker-compose up

간소를 사용하여 실행하십시오

Docker가 설치되지 않은 경우 먼저 요구 사항에서 필요한 패키지를 설치 한 다음 Sleamlit을 통해 앱을 실행할 수 있습니다. 다음 명령으로 수행 할 수 있습니다.

 cd src
pip install -r requirements.txt
streamlit run app.py

LLM에서 추론을 실행하려면 Ollama 서비스를 시작해야합니다. 앱을 처음 실행할 때는 Ollama 저장소에서 Gemma : 2B 모델을 제공하기 전에 Gemma : 2B 모델을 가져와야합니다. 모델을 당기려면 다른 터미널을 열고 명령을 실행하십시오.

ollama pull gemma:2b

모델을 제공하려면 실행 :

ollama serve

켈 앱이 자동으로 열리지 않으면 원하는 브라우저에서 http : // localhost : 8501/로 이동할 수 있습니다.

특허

MIT 라이센스에 따라 배포됩니다. 자세한 내용은 라이센스를 참조하십시오.