simple llm finetuner

titre	emoji	couleur	colort	SDK	app_file	épinglé
Finetuner LLM simple	?	jaune	orange	gradio	app.py	FAUX

??? Ce projet est effectivement mort. Veuillez utiliser l'un des outils suivants à la place:

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

? Finetuner LLM simple

Simple LLM Finetuner est une interface adaptée aux débutants conçue pour faciliter le réglage fin de divers modèles de langage en utilisant la méthode LORA via la bibliothèque PEFT sur des GPU NVIDIA de marchandises. Avec un petit ensemble de données et des longueurs d'échantillon de 256, vous pouvez même l'exécuter sur une instance Colab Tesla T4 ordinaire.

Avec cette interface utilisateur intuitive, vous pouvez facilement gérer votre ensemble de données, personnaliser les paramètres, former et évaluer les capacités d'inférence du modèle.

Remerciements

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

Caractéristiques

• Collez simplement des ensembles de données dans l'interface utilisateur, séparés par des lignes doubles blancs
• Paramètres réglables pour le réglage fin et l'inférence
• UI pour les débutants avec des explications pour chaque paramètre

Commencer

Condition préalable

• Linux ou WSL
• GPU NVIDIA moderne avec> = 16 Go de VRAM (mais il pourrait être possible de fonctionner avec moins de longueurs d'échantillon plus petites)

Usage

Je recommande d'utiliser un environnement virtuel pour installer les packages requis. Conda a préféré.

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

Sur WSL, vous devrez peut-être installer CUDA manuellement en suivant ces étapes, puis en exécutant ce qui suit avant de lancer:

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

Clone le référentiel et installez les packages requis.

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

Lancez-le

 python app.py

Ouvrez http://127.0.0.1:7860/ dans votre navigateur. Préparez vos données de formation en séparant chaque échantillon avec 2 lignes vides. Collez l'ensemble de données de formation dans la zone de texte. Spécifiez le nouveau nom de l'adaptateur LORA dans la zone de texte "New PEFT Adapter Name", puis cliquez sur Train. Vous devrez peut-être ajuster la longueur de séquence maximale et la taille du lot pour s'adapter à votre mémoire GPU. Le modèle sera enregistré dans le répertoire lora/ .

Une fois la formation terminée, accédez à l'onglet "inférence", sélectionnez votre LORA et jouez avec.

Amusez-vous!

YouTube Walkthought

https://www.youtube.com/watch?v=ym1wandknz8

Licence

Licence MIT