simple llm finetuner

제목	이모티콘	색상	Colorto	SDK	app_file	고정
간단한 LLM FINETUNER	?	노란색	주황색	Gradio	app.py	거짓

? 이 프로젝트는 효과적으로 죽었습니다. 대신 다음 도구 중 하나를 사용하십시오.

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

? 간단한 LLM FINETUNER

Simple LLM FinetUner는 상품 NVIDIA GPU의 PEFT 라이브러리를 통해 LORA 방법을 사용하여 다양한 언어 모델을 미세 조정하기 위해 설계된 초보자 친화적 인 인터페이스입니다. 작은 데이터 세트와 샘플 길이 256을 사용하면 일반 Colab Tesla T4 인스턴스에서도 실행할 수도 있습니다.

이 직관적 인 UI를 사용하면 데이터 세트를 쉽게 관리하고 매개 변수를 사용자 정의하고 모델의 추론 기능을 평가할 수 있습니다.

감사의 말

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

특징

• Double Blank 라인으로 분리 된 UI에 데이터 세트를 붙여 넣기 만하면됩니다.
• 미세 조정 및 추론을위한 조정 가능한 매개 변수
• 각 매개 변수에 대한 설명이있는 초보자 친화적 인 UI

시작하기

전제 조건

• Linux 또는 WSL
• > = 16GB의 VRAM을 가진 현대 NVIDIA GPU (그러나 더 작은 샘플 길이에 대해 적은 가격으로 실행할 수 있습니다)

용법

가상 환경을 사용하여 필요한 패키지를 설치하는 것이 좋습니다. 콘다는 선호했습니다.

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

WSL에서는 다음 단계를 수행하여 CUDA를 수동으로 설치 한 다음 시작하기 전에 다음을 실행해야 할 수도 있습니다.

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

저장소를 복제하고 필요한 패키지를 설치하십시오.

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

그것을 시작하십시오

 python app.py

브라우저에서 http://127.0.0.1:7860/을 엽니 다. 각 샘플을 2 개의 빈 줄로 분리하여 교육 데이터를 준비하십시오. 전체 교육 데이터 세트를 텍스트 상자에 붙여 넣습니다. "새 PEFT 어댑터 이름"TextBox에서 새 LORA 어댑터 이름을 지정한 다음 열차를 클릭하십시오. GPU 메모리에 맞게 최대 시퀀스 길이와 배치 크기를 조정해야 할 수도 있습니다. 모델은 lora/ 디렉토리에 저장됩니다.

훈련이 완료된 후 "추론"탭으로 이동하여 LORA를 선택하고 연주하십시오.

재미있게 보내세요!

YouTube Walkwork

https://www.youtube.com/watch?v=ym1wandknz8

특허

MIT 라이센스