hands on lora

英語| 中文

実践的なLORA：LORAを使用した実用的な微調整LLM

ディープラーニングは実験科学です。あなたの手が汚れていない場合、どうしてあなたの心は気の利いたものになることができますか？

導入

「LORAは、事前に抑制されたモデルの重みを凍結し、トレーニング可能なランク分解マトリックスをトランスアーキテクチャの各層に注入し、下流タスクのトレーニング可能なパラメーターの数を大幅に減らします。」

トレーニング可能なA＆B（のみ）

例

LLM	いいえ。パラメーター	タスク	ロラ/qlora	コード
gemma-it	2b	テキストからテキストへの生成	qlora	リンク
Qwen 2	1.5b	名前付きエンティティ認識	qlora	リンク
ラマ3	8b	言語間適応	ロラ	リンク

注記

Loraはエレガントなテクニックですが、LLMを微調整することにはかなりの工学的努力が必要です。最適なパフォーマンスには、徹底的な最適化が必要です。リポジトリでは、基礎例を提供します。出発点を確認します。卓越性を達成するための多くのステップがあります。才能と創造性を活用して、より優れた結果を達成することをお勧めします。