Llama 2_Huggingface_4Bit_QLoRA

Note de mise à jour

Une version mise à jour peut être trouvée dans un nouveau repo

https://github.com/gmongaras/wizard_qlora_finetuning

Llama-2_huggingface_4bit_qlora

Un exemple de travail d'un modèle Qlora Falcon / Llama2 à 4 bits utilisant HuggingFace

Pour démarrer Finetuning, modifier et exécuter main.py

Une fois la finetuning terminée, vous devez avoir des points de contrôle dans ./outputs . Avant d'exécuter l'inférence, nous pouvons combiner les poids LORA avec les poids d'origine pour une inférence plus rapide et des exigences de GPU plus petites pendant l'inférence. Pour ce faire, exécutez le script merge_weights.py avec vos chemins.

Enfin, vous pouvez exécuter generate.py par exemple génération compte tenu du modèle fusionné.

Exigences

Les exigences Python pour exécuter le script sont situées dans les exigences.txt

Vous devriez ./llama-2 télécharger les poids Falcon du ./tiiuae/falcon-7b https://huggingface.co/meta-llama/Llama-2-7b-hf ici https://huggingface.co/tiiuae/falcon-7b

Plusieurs GPU

Ce script ne prend pas en charge le multi-GPU sur les finetuning 4 bits. Si je trouve un moyen de le faire, je mettrai à jour le script.

Exigences GPU

• Le modèle de base prend environ 6 Go de mémoire.
• La finetuning dépend de la taille de l'adaptateur, de la taille du lot, de la longueur maximale, etc. Dans la configuration actuelle, l'utilisation de la mémoire est d'environ 8 Go.

Problèmes

1. S'il y a une erreur de forme lors de la formation, les Bitsandbytes et / ou PEFT ont des problèmes. La meilleure façon de contourner ce problème est de les désinstaller complètement et de les réinstaller de la source:

 python -m pip uninstall bitsandbytes transformers accelerate peft -y
python -m pip install git+https://github.com/huggingface/transformers.git git+https://github.com/huggingface/peft.git git+https://github.com/huggingface/accelerate.git git+https://github.com/timdettmers/bitsandbytes.git -U

2. Si vous obtenez l'erreur, CUDA Setup failed despite GPU being available. Please run the following command to get more information Veuillez exécuter la commande suivante pour https://github.com/oobabooga/text-generation-webui/issues/147 CUDA Setup failed despite GPU being available. Please run the following command to get more information , puis vous devez construire des bitsandbytes à partir de la source et les mettre dans vos bits et octets.