Alpaca 350M Fine Tuned

Альпака-350M-Fine-настроение

Профессиональный проект, связанный с работой

В этом проекте я предоставил код и колябораторную ноутбук, которая облегчает процесс тонкой настройки модели параметров Alpaca 350M, первоначально разработанной в Стэнфордском университете. Конкретная модель, которая настраивается, имеет около 350 миллионов параметров, которые являются одной из меньших моделей альпаки (меньше моей предыдущей модели с тонкой настройкой).

Модель использует LORA с низкой оценкой для работы с меньшим количеством вычислительных ресурсов и параметров обучения. Мы используем BitsAndbytes для настройки и запуска в 8-битном формате, чтобы его можно было использовать в колаборторе. Кроме того, библиотека PEFT от HuggingFace была использована для точной настройки модели.

Гипер -параметры:

1. Micro_batch_size = 4 (4 работает с меньшим графическим процессором)
2. Batch_size = 32
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Эпохи = 2 (Альпака Стэнфорда использует 3)
5. Learning_Rate = 2E-5 (Альпака Стэнфорда использует 2E-5)
6. Cutoff_len = 256 (Alpaca в Стэнфорде использует 512, но 256 составляют 96% данных и проходят гораздо быстрее)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Кредит для оригинальной модели: Qiyuan GE

Тонко настроенная модель: Ryanair/Alpaca-350M-Fine-Tuned (Huggingface)