hands on lora

Englisch | 中文

Praktische LORA: Praktische feine Stimmungs-LLMs mit Lora

Deep Learning ist eine experimentelle Wissenschaft. Wenn Ihre Hände nicht schmutzig sind, wie kann Ihr Verstand nervös sein?

Einführung

: "Lora, die die vorgenannten Modellgewichte einfriert und trainierbare Rang -Zersetzungsmatrizen in jede Schicht der Transformatorarchitektur injiziert und die Anzahl der trainierbaren Parameter für nachgeschaltete Aufgaben erheblich verringert."

Trainingbares A & B (nur)

Beispiele

Llm	Nr. Parameter	Aufgabe	Lora/Qlora	Code
Gemma-It	2B	Text-to-Text-Generierung	Qlora	Link
Qwen 2	1,5b	Genannte Entitätserkennung	Qlora	Link
Lama 3	8b	Cross-Linguistische Anpassung	Lora	Link

Notiz

Lora ist eine elegante Technik, die dennoch fein abgestimmte LLMs erfordern, erfordert erhebliche technische Anstrengungen. Eine optimale Leistung erfordert eine gründliche Optimierung. In unserem Repository geben wir grundlegende Beispiele an - berücksichtigen Sie ihnen Ihren Ausgangspunkt. Es gibt zahlreiche Schritte, um hervorragende Leistungen zu erzielen. Wir ermutigen Sie, Ihre Talente und Kreativität zu nutzen, um herausragendere Ergebnisse zu erzielen.