llm webui

LLM-Webui

Eine Gradio -Web -Benutzeroberfläche für große Sprachmodelle (Finetune, Rag, Chat).

Chat -UI

Trainings UI

Visualisierungs -Benutzeroberfläche

RAG (RELLRUVEL-AUGmented Generation) UI

Merkmale

• Finetune: Lora/Qlora
• RAG (Retrieval-Augmented-Generation):
  • Unterstützen Sie txt/pdf/docx
  • Show abgerufene Stücke
  • Support -Finetuned -Modell
• Trainingsverfolgung und Visualisierung
• Konfigurationsumforderungsvorlage über UI
• Unterstützen Sie Online- und Offline -Modell
• Unterstützen Sie den Online- und Offline -Datensatz

Installieren

Klonrepo und Installation von Anforderungen.txt in einer Python> = 3,8.0 Umgebung

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

Laufen

1. Python main.py

2. Setzen Sie das Hub -Hub -Token

Wenn Sie LLAMA-2 von Huggingface Hub herunterladen möchten, müssen Sie Token: "Einstellung"-> "Huggingface-Hub-Token" konfigurieren ".