Alpaca 3B Fine Tuned

Альпака-3b-fine-настраиваемая

Профессиональный проект, связанный с работой

В этом проекте я предоставил код и колябораторную ноутбук, которая облегчает процесс тонкой настройки модели параметров Alpaca 3B, первоначально разработанной в Стэнфордском университете. Конкретная модель, которая настраивается, имеет около 3 миллиардов параметров, что является одной из меньших моделей альпаки.

Модель использует LORA с низкой оценкой для работы с меньшим количеством вычислительных ресурсов и параметров обучения. Мы используем BitsAndbytes для настройки и запуска в 8-битном формате, чтобы его можно было использовать в колаборторе. Кроме того, библиотека PEFT от HuggingFace была использована для точной настройки модели.

Гипер -параметры:

1. Micro_batch_size = 4 (4 работает с меньшим графическим процессором)
2. Batch_size = 256
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Эпохи = 2 (Альпака Стэнфорда использует 3)
5. Learning_Rate = 2E-5 (Альпака Стэнфорда использует 2E-5)
6. Cutoff_len = 256 (Alpaca в Стэнфорде использует 512, но 256 составляют 96% данных и проходят гораздо быстрее)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Кредит на оригинальную модель: Синьян (Янг) Генг и Хао Лю из Researlm Research

Тонко настроенная модель: Ryanair/Alpaca-3B-Fine-Tuned (HuggingFace)