hands on lora

英語| 中文

動手洛拉（Lora）：使用洛拉（Lora）實用的微調LLM

深度學習是一門實驗科學。如果您的手不髒，您的頭腦怎麼可能很漂亮？

介紹

：“洛拉（Lora），它凍結了驗證的模型權重，並註入了可訓練的秩分解矩陣中，大大減少了下游任務的可訓練參數的數量。”

可訓練的A＆B（僅）

例子

LLM	編號參數	任務	洛拉/Qlora	代碼
Gemma-it	2b	文本到文本生成	Qlora	關聯
QWEN 2	1.5b	命名實體識別	Qlora	關聯
駱駝3	8b	跨語言改編	洛拉	關聯

筆記

洛拉（Lora）是一種優雅的技術，但它的微調LLM需要大量的工程工作。最佳性能需要徹底優化。在我們的存儲庫中，我們提供了基本的示例，並考慮您的起點。有許多步驟可以取得卓越。我們鼓勵您利用自己的才能和創造力來取得更出色的成果。