hands on lora

英语| 中文

动手洛拉（Lora）：使用洛拉（Lora）实用的微调LLM

深度学习是一门实验科学。如果您的手不脏，您的头脑怎么可能很漂亮？

介绍

：“洛拉（Lora），它冻结了验证的模型权重，并注入了可训练的秩分解矩阵中，大大减少了下游任务的可训练参数的数量。”

可训练的A＆B（仅）

例子

LLM	编号参数	任务	洛拉/Qlora	代码
Gemma-it	2b	文本到文本生成	Qlora	关联
QWEN 2	1.5b	命名实体识别	Qlora	关联
骆驼3	8b	跨语言改编	洛拉	关联

笔记

洛拉（Lora）是一种优雅的技术，但它的微调LLM需要大量的工程工作。最佳性能需要彻底优化。在我们的存储库中，我们提供了基本的示例，并考虑您的起点。有许多步骤可以取得卓越。我们鼓励您利用自己的才能和创造力来取得更出色的成果。