simple llm finetuner Download - simple llm finetuner Source Source Download

simple llm finetuner

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

ชื่อ	อีโมจิ	สีจาก	น้ำโคลอร์โต	SDK	app_file	ที่ถูกตรึง
LLM Finetuner ง่ายๆ	-	สีเหลือง	ส้ม	Gradeio	app.py	เท็จ

- โครงการนี้ตายอย่างมีประสิทธิภาพ โปรดใช้หนึ่งในเครื่องมือต่อไปนี้แทน:

https://github.com/hiyouga/llama-factory
https://github.com/unslothai/unsloth
https://github.com/oobabooga/text-generation-webui

- LLM Finetuner ง่ายๆ

Simple LLM Finetuner เป็นอินเทอร์เฟซที่เป็นมิตรกับผู้เริ่มต้นที่ออกแบบมาเพื่ออำนวยความสะดวกในการปรับแต่งโมเดลภาษาต่าง ๆ โดยใช้วิธี LORA ผ่านห้องสมุด PEFT บน Commodity Nvidia GPU ด้วยชุดข้อมูลขนาดเล็กและความยาวตัวอย่าง 256 คุณสามารถเรียกใช้สิ่งนี้ได้ในอินสแตนซ์ Colab Tesla T4 ปกติ

ด้วย UI ที่ใช้งานง่ายนี้คุณสามารถจัดการชุดข้อมูลของคุณปรับแต่งพารามิเตอร์ฝึกอบรมและประเมินความสามารถในการอนุมานของโมเดล

กิตติกรรมประกาศ

https://github.com/zphang/minimal-llama/
https://github.com/tloen/alpaca-lora
https://github.com/huggingface/peft

คุณสมบัติ

เพียงวางชุดข้อมูลใน UI ซึ่งคั่นด้วยเส้นเปล่าสองเส้น
พารามิเตอร์ที่ปรับได้สำหรับการปรับแต่งและการอนุมาน
UI ที่เป็นมิตรกับผู้เริ่มต้นพร้อมคำอธิบายสำหรับแต่ละพารามิเตอร์

เริ่มต้น

ข้อกำหนดเบื้องต้น

Linux หรือ WSL
Modern Nvidia GPU ที่มี> = 16 GB ของ VRAM (แต่อาจเป็นไปได้ที่จะทำงานโดยมีความยาวน้อยกว่าน้อยกว่า)

การใช้งาน

ฉันขอแนะนำให้ใช้สภาพแวดล้อมเสมือนจริงเพื่อติดตั้งแพ็คเกจที่ต้องการ Conda Preferred

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

บน WSL คุณอาจต้องติดตั้ง CUDA ด้วยตนเองโดยทำตามขั้นตอนเหล่านี้จากนั้นเรียกใช้สิ่งต่อไปนี้ก่อนที่คุณจะเปิดตัว:

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

โคลนที่เก็บและติดตั้งแพ็คเกจที่ต้องการ

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

เปิดตัว

 python app.py

เปิด http://127.0.0.1:7860/ ในเบราว์เซอร์ของคุณ เตรียมข้อมูลการฝึกอบรมของคุณโดยแยกแต่ละตัวอย่างด้วย 2 บรรทัดว่าง วางชุดข้อมูลการฝึกอบรมทั้งหมดลงในกล่องข้อความ ระบุชื่ออะแดปเตอร์ LORA ใหม่ในกล่องข้อความ "NEW PEFT NAME" จากนั้นคลิกฝึกอบรม คุณอาจต้องปรับความยาวลำดับสูงสุดและขนาดแบทช์เพื่อให้พอดีกับหน่วยความจำ GPU ของคุณ แบบจำลองจะถูกบันทึกไว้ในไดเรกทอรี lora/

หลังจากเสร็จสิ้นการฝึกอบรมนำทางไปยังแท็บ "การอนุมาน" เลือก LORA ของคุณและเล่นกับมัน

มีความสุข!