simple llm finetuner

Titel	Emoji	farblich	Colorto	SDK	app_file	festgesteckt
Einfache LLM -Finetuner	?	Gelb	orange	Gradio	app.py	FALSCH

??? Dieses Projekt ist effektiv tot. Bitte verwenden Sie stattdessen eines der folgenden Tools:

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

? Einfache LLM -Finetuner

Einfache LLM-Finetuner ist eine anfängerfreundliche Schnittstelle, mit der verschiedene Sprachmodelle mithilfe der LORA-Methode über die PEFT Library on Commodity Nvidia GPUs die Feinabstimmung ermöglichen. Mit kleinen Datensatz- und Stichprobenlängen von 256 können Sie dies sogar in einer regulären Colab Tesla T4 -Instanz ausführen.

Mit dieser intuitiven Benutzeroberfläche können Sie Ihren Datensatz problemlos verwalten, Parameter anpassen, trainieren und die Inferenzfunktionen des Modells bewerten.

Anerkennung

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

Merkmale

• Fügen Sie einfach Datensätze in die Benutzeroberfläche ein, die durch doppelte leere Zeilen getrennt sind
• Einstellbare Parameter für Feinabstimmung und Inferenz
• Anfänger-freundliche Benutzeroberfläche mit Erklärungen für jeden Parameter

Erste Schritte

Voraussetzungen

• Linux oder WSL
• Moderne Nvidia GPU mit> = 16 GB VRAM (es könnte jedoch möglich sein, mit weniger für kleinere Probenlängen zu laufen)

Verwendung

Ich empfehle, eine virtuelle Umgebung zu verwenden, um die erforderlichen Pakete zu installieren. Conda bevorzugt.

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

Auf der WSL müssen Sie möglicherweise CUDA manuell installieren, indem Sie diese Schritte befolgen und dann Folgendes ausführen, bevor Sie starten:

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

Klonen Sie das Repository und installieren Sie die erforderlichen Pakete.

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

Starten Sie es

 python app.py

Öffnen Sie in Ihrem Browser http://127.0.0.1:7860/. Bereiten Sie Ihre Trainingsdaten vor, indem Sie jede Probe mit 2 leeren Linien trennen. Fügen Sie den gesamten Trainingsdatensatz in das Textfeld ein. Geben Sie den neuen LORA -Adapternamen im Textfeld "New Peft Adapter Name" an und klicken Sie dann auf Zug. Möglicherweise müssen Sie die MAX -Sequenzlänge und die Chargengröße so einstellen, dass Sie Ihren GPU -Speicher anpassen. Das Modell wird im lora/ Verzeichnis gespeichert.

Navigieren Sie nach Abschluss des Trainings auf "Inferenz", wählen Sie Ihre Lora aus und spielen Sie damit.

Viel Spaß!

YouTube Walkthoest

https://www.youtube.com/watch?v=ym1wandknz8

Lizenz

MIT -Lizenz