llama.mmengine

Llama.mmengine

«Обучение ламы с Mmengine!

Llama.mmengine -это экспериментальный репозиторий, который использует тренировочный двигатель Mmengine, первоначально предназначенный для задач компьютерного зрения, для обучения и точной настройки языковых моделей. Основная цель этого проекта-изучить совместимость MMENGINE с языковыми моделями, узнать о методах тонкой настройки и взаимодействовать с сообществом с открытым исходным кодом для обмена знаниями и сотрудничества.

? Функции

• Поддержка загрузки моделей Llama с размерами параметров в диапазоне от 7b до 65b
• Инструктировать поддержку настройки
• Поддержка с низкой адаптацией (LORA)

? Todo-List

• Int8 Поддержка квантования
• улучшить сценарий генерации
• Показатель поддержки Показать убыток

? Начиная

Установка

1. Установите Pytorch

   После этого руководства https://pytorch.org/get-started/locally/

2. Настройка этого репо

   Клонировать репо

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   Установить зависимости

   pip install -r requirements.txt

   Запустить setup.py

   python setup.py develop

Получить предварительно обученные модели ламы

Пожалуйста, загрузите веса модели с официального репо -репо.

Папка контрольных точек должна быть такой:

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

Преобразуйте вес (спасибо за сценарий от Lit-Llama):

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

Лора тонкая настройка

python tools/train.py configs/llama-7B_finetune_3e.py

Вывод

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

? Внося

Я очень ценю ваш интерес к участию в Llama.mmengine! Обратите внимание, что этот проект поддерживается как личный боковой проект, что означает, что доступное время для разработки и поддержки ограничено. Имея это в виду, я любезно призываю членов сообщества принять участие и активно вносить свой вклад, отправляя запросы!

Благодарности

• @Lightning-Ai для Lit-lama ️
• @tloen для альпака-лора
• Стэнфорд Альпака
• Лама