easyRAG

Erstellen Sie Ihren eigenen Lappen und führen Sie ihn lokal auf Ihrem Laptop aus: Colbert + DSPY + Streamlit

Tutorial für generative KI-Anfänger: Lassen Sie uns lokal ein sehr einfaches Lag-System (Abruf Augmented Generation), Schritt für Schritt.

Mittelbeitrag: https://towardsdatascience.com/rag-on-your-laptop-colbert-dspy-streamlit-c206ea92188f

Umgebungsaufbau

conda create -n easyrag -c nvidia -c conda-forge -v python==3.9 cuda-toolkit==12.4.0 jupyterlab==4.1.4 ipywidgets==8.1.2 wikipedia==1.4.0 mypy==1.8.0 accelerate==0.27.0 streamlit==1.29.0 pyarrow==14.0.0
conda activate easyrag
pip install colbert-ai[torch,faiss-gpu]==0.2.19 dspy-ai==2.3.6 

export CUDA_HOME= $CONDA_PREFIX
export LIBRARY_PATH= $CONDA_PREFIX /lib
export LD_LIBRARY_PATH= $CONDA_PREFIX /lib

Beispieldaten herunterladen

python fringe_wikipedia.py

Colbertv2 Indexierung und Abruf

wget https://downloads.cs.stanford.edu/nlp/data/colbert/colbertv2/colbertv2.0.tar.gz
tar -xvzf downloads/colbertv2.0.tar.gz

python colbert_index.py 
python colbert_server.py &  # It could take some seconds 

Ausführen der Chatbot -Schnittstelle

streamlit run chatbot.py