llm webui

llm-Webui

Una interfaz de usuario web de Gradio para modelos de idiomas grandes (Finetune, trapo, chat).

Chat ui

UI de entrenamiento

ui de visualización

RAG (Generación de recuperación de UI) UI)

Características

• Finetune: Lora/Qlora
• RAG (generación de recuperación de la recuperación):
  • Soporte de TXT/PDF/DOCX
  • Mostrar trozos recuperados
  • Modelo Finetuned de soporte
• Seguimiento y visualización de capacitación
• Plantilla de solicitud de configuración a través de la interfaz de usuario
• Apoyo al modelo en línea y fuera de línea
• Admitir el conjunto de datos en línea y fuera de línea

Instalar

Requisitos de repose e instalación de clones. Txt en un entorno Python> = 3.8.0

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

Correr

1. Python Main.py

2. Establezca el token de centro de Huggingface

Si desea descargar Llama-2 desde Huggingface Hub, debe configurar el token: "configuración"-> "Huggingface Hub Token"