llm webui

LLM-WEBUI

UI Web Gradio untuk model bahasa besar (Finetune, Rag, Chat).

Obrolan UI

Pelatihan UI

Visualisasi UI

RAG (generasi pengambilan-tambahan) UI

Fitur

• Finetune: Lora/Qlora
• RAG (generasi pengambilan):
  • Dukung txt/pdf/docx
  • Tampilkan potongan yang diambil
  • Mendukung model finetuned
• Pelatihan dan visualisasi pelatihan
• Config prompt template melalui UI
• Dukungan Model Online dan Offline
• Dukungan dataset online dan offline

Memasang

Klon repo dan instal persyaratan.txt dalam lingkungan python> = 3.8.0

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

Berlari

1. Python Main.py

2. Set Token Hub Huggingface

Jika Anda ingin mengunduh llama-2 dari HuggingFace Hub, Anda perlu mengkonfigurasi token: "Pengaturan"-> "Token HUB HUGGINGFACE"