llm webui

LLM-Webui

대형 언어 모델을위한 Gradio 웹 UI (Finetune, Rag, Chat).

채팅 ui

교육 UI

시각화 UI

래그 (검색-증거 세대) UI

특징

• Finetune : Lora/Qlora
• 래그 (검색 세대) :
  • txt/pdf/docx를 지원합니다
  • 검색된 덩어리를 보여주십시오
  • FinetUned 모델을 지원합니다
• 교육 추적 및 시각화
• UI를 통한 프롬프트 템플릿을 구성하십시오
• 온라인 및 오프라인 모델을 지원합니다
• 온라인 및 오프라인 데이터 세트를 지원합니다

설치하다

복제 리포지토 및 설치 요구 사항 .TXT Python> = 3.8.0 환경

git clone https://github.com/wangermeng2021/llm-webui
cd llm-webui
pip install -r requirements.txt

달리다

1. Python main.py

2. Huggingface 허브 토큰을 설정하십시오

Huggingface Hub에서 llama-2를 다운로드하려면 Token을 구성해야합니다.