hands on lora

Английский | 中文

Практическая LORA: Практическая тонкая настройка LLM с использованием LORA

Глубокое обучение - это экспериментальная наука. Если ваши руки не грязные, как ваш ум может быть изящным?

Введение

: «Лора, которая замораживает веса предварительно проведенной модели и вводит матрицы обучения в ранге в каждом слое архитектуры трансформатора, значительно уменьшая количество тренировочных параметров для нижестоящих задач».

Тренируемый A & B (только)

Примеры

LLM	Нет. Параметры	Задача	Лора/Qlora	Код
Gemma-It	2B	Генерация текста в тексте	Qlora	Связь
Qwen 2	1,5B	Названное признание сущности	Qlora	Связь
Лама 3	8B	Кросс-лингвистическая адаптация	Лора	Связь

Примечание

Lora-это элегантная техника, но в то же время тонкая настройка LLM, с которой она требует значительных инженерных усилий. Оптимальная производительность требует тщательной оптимизации. В нашем репозитории мы предоставляем основополагающие примеры - придерживались их своей отправной точки. Есть множество шагов для достижения совершенства. Мы призываем вас использовать ваши таланты и творчество для достижения более выдающихся результатов.