llm webui

LLM-WEBUI

Интернет -интерфейс Gradio для больших языковых моделей (Finetune, Rag, Chat).

Чат UI

Тренировочный интерфейс

Визуализация пользовательского интерфейса

Тряпка (поиск-аугментированный поколение) пользовательский интерфейс

Функции

• Finetune: Lora/Qlora
• Тряпка (поколение поиска-августа):
  • Поддержка TXT/PDF/DOCX
  • Показать полученные куски
  • Поддержка Menetuned Model
• Отслеживание обучения и визуализация
• Шаблон приглашения конфигурации через пользовательский интерфейс
• Поддержка онлайн и офлайн -модели
• Поддержка онлайн и набора данных в автономном режиме

Установить

Clone Repo и установить требования .

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

Бегать

1. Python main.py

2. Установите токен концентратора Huggingface

Если вы хотите загрузить Llama-2 из Hub Huggingface, вам нужно настроить токен: «Настройка»-> «Токен Hub Hub Huggingface»