llama.mmengine

Lama.mmengine

? Training lama mit Mmengine!

LLAMA.MMENGINE ist ein experimentelles Repository, das die MMengine-Trainingsmotor nutzt, die ursprünglich für Computer-Vision-Aufgaben entwickelt wurde, um Modelle zu trainieren und zu feinen. Das Hauptziel dieses Projekts ist es, die Kompatibilität von Mmengine mit Sprachmodellen zu untersuchen, über Feinabstimmungstechniken zu erfahren und sich mit der Open-Source-Community für den Austausch und Zusammenarbeit mit dem Wissen zu wissen.

? Merkmale

• Unterstützung für das Laden von Lama -Modellen mit Parametergrößen von 7B bis 65B
• Stimmunterstützung anweisen
• LORA-Abtun-Unterstützung mit niedriger Anpassung (LORA)

? Todo-Liste

• Int8 Quantisierungsunterstützung
• Verbessern Sie das Skript generieren
• Support Show Validierungsverlust

? Erste Schritte

Installation

1. Pytorch installieren

   Befolgen Sie diese Anleitung https://pytorch.org/get-started/locally/

2. Richten Sie dieses Repo ein

   Klonen Sie das Repo

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   Abhängigkeiten installieren

   pip install -r requirements.txt

   Setup.py ausführen

   python setup.py develop

Holen Sie sich vorgebrachte Lama-Modelle

Bitte laden Sie die Modellgewichte aus dem offiziellen Lama -Repo herunter.

Der Checkpoints -Ordner sollte wie folgt sein:

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

Konvertieren Sie die Gewichte (danke für das Drehbuch von Lit-Llama):

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

Lora Feinabstimmung

python tools/train.py configs/llama-7B_finetune_3e.py

Schlussfolgerung

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

? Beitragen

Ich schätze Ihr Interesse daran, zu Lama.MMengine beizubehalten! Bitte beachten Sie, dass dieses Projekt als persönliches Nebenprojekt beibehalten wird, was bedeutet, dass die verfügbare Zeit für die Entwicklung und Unterstützung begrenzt ist. In diesem Sinne ermutige ich freundlicherweise Mitglieder der Community, sich zu engagieren und aktiv beizutragen, indem sie Pull -Anfragen einreichen!

Anerkennung

• @Lightning-ai für lit-llama ️
• @tloen für alpaca-lora
• Stanford Alpaka
• Lama