llm webui

llm-webui

Une interface utilisateur Web Gradio pour les modèles de grande langue (Finetune, Rag, Chat).

UI de chat

UI de formation

UI de visualisation

Rag (génération auprès de la récupération) UI

Caractéristiques

• Finetune: Lora / Qlora
• RAG (GÉNÉRATION AUGUMÉ-AUGMENTÉE):
  • Prise en charge de TXT / PDF / DOCX
  • Spectacle de morceaux récupérés
  • Prise en charge du modèle Finetuned
• Suivi et visualisation de la formation
• Modèle d'invite de configuration via l'interface utilisateur
• Prise en charge du modèle en ligne et hors ligne
• Prise en charge de l'ensemble de données en ligne et hors ligne

Installer

Clone Repo and Installer Exigences.txt dans un Python> = 3,8.0 Environnement

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

Courir

1. Python main.py

2. Définir le jeton de moyeuse Huggingface

Si vous souhaitez télécharger Llama-2 à HuggingFace Hub, vous devez configurer le jeton: "Setting" -> "Huggingface Hub Token"