llama.mmengine

Llama.mmengine

¡Entrenamiento de Llama con MMEngine!

Llama.MMEngine es un repositorio experimental que aprovecha el motor de entrenamiento MMEngine, originalmente diseñado para tareas de visión por computadora, para entrenar y ajustar modelos de lenguaje. El objetivo principal de este proyecto es explorar la compatibilidad de MMEngine con modelos de idiomas, aprender sobre técnicas de ajuste fino y comprometerse con la comunidad de código abierto para el intercambio de conocimientos y la colaboración.

? Características

• Soporte para la carga de modelos de LLAMA con tamaños de parámetros que van desde 7B a 65B
• Instruir el soporte de ajuste
• Soporte de ajuste fino de adaptación de bajo rango (LORA)

? List

• soporte de cuantificación int8
• Mejorar el guión Generar
• Soporte Mostrar pérdida de validación

? Empezando

Instalación

1. Instalar pytorch

   Siguiendo esta guía https://pytorch.org/get-started/locally/

2. Configurar este repositorio

   Clonar el repositorio

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   Instalar dependencias

   pip install -r requirements.txt

   Ejecutar setup.py

   python setup.py develop

Obtenga modelos de llama previamente entrenados

Descargue los pesos del modelo del repositorio oficial de LLAMA.

La carpeta de puntos de control debe ser así:

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

Convierta los pesos (gracias por el guión de Lit-llama):

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

Lora ajustado

python tools/train.py configs/llama-7B_finetune_3e.py

Inferencia

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

? Que contribuye

¡Aprecio enormemente su interés en contribuir a Llama.mmengine! Tenga en cuenta que este proyecto se mantiene como un proyecto secundario personal, lo que significa que el tiempo disponible para el desarrollo y el apoyo es limitado. ¡Con eso en mente, aliento amablemente a los miembros de la comunidad a involucrarse y contribuir activamente enviando solicitudes de extracción!

Expresiones de gratitud

• @Lightning-Ai para Lit-llama ️
• @Tloen para Alpaca-lora
• Stanford Alpaca
• Llama