llama.mmengine

Lhama.mmengine

? Treinando lhama com mmengine!

LLAMA.MMENGINE é um repositório experimental que aproveita o mecanismo de treinamento de Mmengine, originalmente projetado para tarefas de visão computacional, para treinar e ajustar modelos de linguagem. O objetivo principal deste projeto é explorar a compatibilidade do mmengine com os modelos de idiomas, aprender sobre técnicas de ajuste fina e se envolver com a comunidade de código aberto para compartilhar e colaboração de conhecimento.

? Características

• Suporte para carregar modelos de llama com tamanhos de parâmetros que variam de 7b a 65b
• Instrua o suporte de ajuste
• Suporte de ajuste fina de adaptação de baixo rank (LORA)

? TODO-LIST

• Suporte de quantização INT8
• Melhore o script gerar
• Apoio ao mostrar perda de validação

? Começando

Instalação

1. Instale o pytorch

   Após este guia https://pytorch.org/get-started/locally/

2. Configure este repo

   Clone o repo

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   Instalar dependências

   pip install -r requirements.txt

   Execute setup.py

   python setup.py develop

Obtenha modelos de llama pré-treinados

Faça o download dos pesos do modelo do repositório oficial de lhama.

A pasta dos pontos de verificação deve ser assim:

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

Converta os pesos (obrigado pelo script de Lit-llama):

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

Lora Tuneing fino

python tools/train.py configs/llama-7B_finetune_3e.py

Inferência

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

? Contribuindo

Agradeço muito o seu interesse em contribuir com a llama.mmengine! Observe que este projeto é mantido como um projeto paralelo pessoal, o que significa que o tempo disponível para desenvolvimento e suporte é limitado. Com isso em mente, incentivo os membros da comunidade a se envolver e contribuir ativamente enviando solicitações de tração!

Agradecimentos

• @Lightning-ai para lit-llama ️
• @tloen para alpaca-lora
• Stanford Alpaca
• Lhama