llama.mmengine

Lama.mmengine

? Training Llama avec Mmengine!

Llama.MENGINE est un référentiel expérimental qui exploite le moteur de formation Mmengine, conçu à l'origine pour des tâches de vision par ordinateur, pour former et affiner les modèles de langage. L'objectif principal de ce projet est d'explorer la compatibilité de MMenine avec les modèles de langue, de se renseigner sur les techniques de réglage fin et de s'engager avec la communauté open source pour le partage et la collaboration des connaissances.

? Caractéristiques

• Prise en charge des modèles de chargement Llama avec des tailles de paramètres allant de 7b à 65b
• Instruire le support de réglage
• Adaptation de faible rang (LORA) Support de réglage fin

? Liste

• Support de quantification INT8
• Améliorer le script généré
• Support Show Validation Perte

? Commencer

Installation

1. Installer Pytorch

   Suivant ce guide https://pytorch.org/get-started/locally/

2. Configurer ce repo

   Cloner le repo

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   Installer des dépendances

   pip install -r requirements.txt

   Exécuter setup.py

   python setup.py develop

Obtenez des modèles Llama pré-formés

Veuillez télécharger les poids du modèle à partir du dépôt officiel du lama.

Le dossier des points de contrôle devrait être comme ceci:

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

Convertir les poids (merci pour le script de Lit-Llama):

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

Lora amende

python tools/train.py configs/llama-7B_finetune_3e.py

Inférence

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

? Contributif

J'apprécie grandement votre intérêt à contribuer à Llama.Mengine! Veuillez noter que ce projet est maintenu en tant que projet de côté personnel, ce qui signifie que le temps disponible pour le développement et le support est limité. Dans cet esprit, j'encourage gentiment les membres de la communauté à s'impliquer et à contribuer activement en soumettant des demandes de traction!

Remerciements

• @ Lightning-ai pour lit-llama ️
• @tloen pour alpaca-lora
• Alpaga Stanford
• Lama