easyRAG

자신의 헝겊을 만들고 노트북에서 로컬로 달리기 : Colbert + DSPY + smelit

생성 AI 초보자를위한 튜토리얼 : 매우 간단한 헝겊 (검색 증강 생성) 시스템을 현지에서 단계별로 구축합시다.

중간 게시물 : https://towardsdatascience.com/rag-on-your-laptop-colbert-dspy-streamlit-c20666188f

환경 설정

conda create -n easyrag -c nvidia -c conda-forge -v python==3.9 cuda-toolkit==12.4.0 jupyterlab==4.1.4 ipywidgets==8.1.2 wikipedia==1.4.0 mypy==1.8.0 accelerate==0.27.0 streamlit==1.29.0 pyarrow==14.0.0
conda activate easyrag
pip install colbert-ai[torch,faiss-gpu]==0.2.19 dspy-ai==2.3.6 

export CUDA_HOME= $CONDA_PREFIX
export LIBRARY_PATH= $CONDA_PREFIX /lib
export LD_LIBRARY_PATH= $CONDA_PREFIX /lib

샘플 데이터 다운로드

python fringe_wikipedia.py

Colbertv2 인덱싱 및 검색

wget https://downloads.cs.stanford.edu/nlp/data/colbert/colbertv2/colbertv2.0.tar.gz
tar -xvzf downloads/colbertv2.0.tar.gz

python colbert_index.py 
python colbert_server.py &  # It could take some seconds 

챗봇 인터페이스 실행

streamlit run chatbot.py