SiLLM examples
1.0.0
Assurez-vous d'installer les exigences de ces exemples:
pip install -r requirements-examples.txtExemples pour la formation des vecteurs de contrôle des états cachés d'un modèle qui peuvent être utilisés pour influencer le comportement et générer la sortie pendant l'inférence.
Lora Training Mistral-7B-Instruct-V0.2 avec l'ensemble de données Nvidia Helpsteer.
Exécutez train.sh dans le répertoire helpsteer pour télécharger l'ensemble de données et le modèle à partir de HuggingFace et démarrer la formation LORA. Vous pouvez personnaliser la configuration de la formation en modifiant config.yml .
DPO Training QWEN1.5-7B-CHAT avec l'ensemble de données DPO Mix 7K. La formation se compose d'un réglage fin supervisé (SFT) suivi d'une optimisation directe des préférences (DPO).
Exécutez train.sh dans le répertoire dpo-mix-7k pour télécharger l'ensemble de données et le modèle depuis HuggingFace et démarrer la formation. Vous pouvez personnaliser la configuration de la formation en modifiant les fichiers de configuration sft.yml et dpo.yml .
Implémentation de la référence "Massive Multitasc Language Comprendre" à l'aide de l'ensemble de données MMLU.
Exécutez mmlu.py avec le modèle que vous souhaitez évaluer.
Implémentation de la référence MMLU-PRO à l'aide de l'ensemble de données MMLU-PRO.
Exécutez mmlu-pro.py avec le modèle que vous souhaitez évaluer.
Calcul des scores de perplexité pour un échantillon de données de paragraphes d'entrée à partir d'articles Wikipedia.
Exécutez perplexity.py avec le modèle que vous souhaitez évaluer. Ajoutez des options de quantification pour évaluer la perplexité avec les modèles quantifiés.
