llm webui

llm-webui

用於大型語言模型的Gradio Web UI（Finetune，RAG，CHAT）。

聊天用戶

培訓UI

可視化UI

抹布（檢索型的一代）UI

特徵

• Finetune：Lora/Qlora
• 抹布（檢索出來的一代）：
  • 支持TXT/PDF/DOCX
  • 表演檢索了塊
  • 支持登錄模型
• 訓練跟踪和可視化
• 通過UI的配置提示模板
• 支持在線和離線模型
• 支持在線和離線數據集

安裝

clone repo和install sumplast.txt在python> = 3.8.0環境

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

跑步

1。 python main.py

2。設置HuggingFace Hub令牌

如果要從HuggingFace Hub下載Llama-2，則需要配置令牌：“設置” - >“ HuggingFace Hub Token”