Local LLM Langchain

本地LLM的筆記本

該項目的目的是允許用戶輕鬆地將其本地託管的語言模型加載到用於使用Langchain測試的筆記本中。目前有三個筆記本。他們中的兩個使用API​​​​創建自定義的Langchain LLM包裝器，這是Oobabooga的Text Generation Web UI，另一個用於Koboldai。第三個筆記本電腦通過利用Oobabooga的文本生成Webui虛擬環境和模塊用於模型加載來加載模型。

您最終將獲得可用於生成文本的自定義LLM包裝器的實例：

llm("prompt goes here")

您可以使用它而不是在大多數指南和文檔中看到的OpenAI LLM類。

入門

請按照其各自存儲庫中提供的API的設置說明。只需使用API​​​​ URL更新URL變量，然後運行單元格以創建自定義LLM包裝器的實例。

路線圖

現在，使用API​​​​是我加載模型的首選方法。我計劃改善API課程/筆記本電腦，但就目前而言，它們運行良好。我現在將非API的東西留下來，但是我將來不會積極地維護它們，所以事情可能會破裂。

非API筆記本電腦說明：

1. 激活您的Python或Conda環境。
2. 通過在您的首選命令提示符或終端中運行pip install jupyter安裝Jupyter筆記本。
3. 重新啟動您的命令提示符或終端，以確保安裝正確配置。
4. 再次激活您的Python或Conda環境，並在命令提示符或終端中運行jupyter notebook以啟動Jupyter接口。
5. 導航到Non-API-Notebook.ipynb所在的目錄（OOBA用戶將其放入./text-generation-webui/中，並在Jupyter界面中打開筆記本。