simpleChat_llama2_mac_silicon

Simplechat_llama2_mac_silicon

**注意**我已經存檔了此存儲庫，因為它已經老化了！ ??????

一個帶有嵌入式和矢量數據庫的簡單聊天應用程序，專門用於Mac/Apple Silicon上的本地執行。

該倉庫是基於Privategpt和Localgpt的蒸餾和即興演奏，我創建了這些蒸餾量，該蒸餾量是我專門在Apple Silicon上本地運行的，更具體地說是我的MacBook Pro（M1）。我的動機是為了學習目的，在設備上創建最低限度可行的LLM聊天。

特徵

• Llamacpp來自Llama.cpp
• 擁抱臉的模型
• 擁抱臉的嵌入
• 來自色度的矢量數據庫
• Langchain框架Langchain
• UI通過Gradio

要求

• 帶有蘋果矽的Mac計算機
• 康達

創建並激活新的Conda環境

conda create -n simpleChat python=3.11
conda activate simpleChat

克隆倉庫

git clone https://github.com/ziligy/simpleChat_llama2_mac_silicon simpleChat
cd simpleChat

安裝

Langchain

conda install -c conda-forge langchain==0.0.239

升級金屬的Llama-CPP-Python

CMAKE_ARGS= " -DLLAMA_METAL=on " FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python==0.1.77 --no-cache-dir

需求.txt

pip install -r requirements.txt

下載ggml模型＆SET MODEL_PATH

下載此模型或另一個4位（首選）GGML（必需）模型

Llama-2-13b-chat.ggmlv3.q4_1.bin

在常數中定義model_path.py以設置所使用的模型的位置和名稱。

（例如在常數中）model_path = os.path.path.expanduser（'〜'） +“ /models/llama-2-13b-chat.ggmlv3.q4_1.bin”

在Gradio服務器上啟動聊天

gradio app.py

您應該看到：在本地URL上運行：http：//127.0.0.1：7861

CMD +單擊鏈接以在瀏覽器中啟動CHAT UI

轉到您的瀏覽器與AI聊天。

注意聊天回复可能需要一到兩分鐘，因此您需要耐心等待

---

可選攝入您自己的數據集的說明

注意： ingest.py組件是基本的叉子

將所有和所有.txt，.pdf或.csv文件放入source_documents目錄中

當前默認文件類型為.txt，.pdf，.csv和.xlsx，如果要使用任何其他文件類型，則需要將其轉換為默認文件類型之一。

運行以下命令以攝入所有數據。

python ingest.py

它將創建一個包含本地矢量器的索引。將需要時間，具體取決於您的文檔的大小。

如果要從空數據庫開始，請刪除DB文件夾。

rm -r ./DB

執行Ingest.py程序將重新創建新的DB目錄