hands on lora

Anglais | 中文

LORA pratique: LLMS pratiques à réglage fin à l'aide de Lora

Le Deep Learning est une science expérimentale. Si vos mains ne sont pas sales, comment votre esprit peut-il être astucieux?

Introduction

: "Lora, qui gèle les poids du modèle pré-entraîné et injecte des matrices de décomposition de rang normes dans chaque couche de l'architecture du transformateur, réduisant considérablement le nombre de paramètres formables pour les tâches en aval."

A&B entraînable (seulement)

Exemples

LLM	Non. Paramètres	Tâche	Lora / Qlora	Code
Gemma-it	2B	Génération de texte à texte	Qlora	Lien
Qwen 2	1.5b	Reconnaissance d'entité nommée	Qlora	Lien
Lama 3	8b	Adaptation inter-linguistique	Lora	Lien

Note

Lora est une technique élégante, mais des LLM à réglage fin avec elle exigent des efforts d'ingénierie considérables. Les performances optimales nécessitent une optimisation approfondie. Dans notre référentiel, nous fournissons des exemples fondamentaux - les considérons comme votre point de départ. Il existe de nombreuses étapes pour atteindre l'excellence. Nous vous encourageons à tirer parti de vos talents et de votre créativité pour obtenir des résultats plus remarquables.