llm webui

llm-webui

用于大型语言模型的Gradio Web UI（Finetune，RAG，CHAT）。

聊天用户

培训UI

可视化UI

抹布（检索型的一代）UI

特征

• Finetune：Lora/Qlora
• 抹布（检索出来的一代）：
  • 支持TXT/PDF/DOCX
  • 表演检索了块
  • 支持登录模型
• 训练跟踪和可视化
• 通过UI的配置提示模板
• 支持在线和离线模型
• 支持在线和离线数据集

安装

clone repo和install sumplast.txt在python> = 3.8.0环境

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

跑步

1。python main.py

2。设置HuggingFace Hub令牌

如果要从HuggingFace Hub下载Llama-2，则需要配置令牌：“设置” - >“ HuggingFace Hub Token”