hands on lora

Inglés | 中文

Lora práctica: LLMS práctico de ajuste fino usando Lora

El aprendizaje profundo es una ciencia experimental. Si sus manos no están sucias, ¿cómo puede su mente ser ingeniosa?

Introducción

: "Lora, que congela los pesos del modelo previo e inyecta matrices de descomposición de rango entrenable en cada capa de la arquitectura del transformador, reduciendo en gran medida el número de parámetros capacitables para las tareas aguas abajo".

A&B entrenable (solo)

Ejemplos

LLM	No. Parámetros	Tarea	Lora/Qlora	Código
Gemma-it	2b	Generación de texto a texto	Qlora	Enlace
Qwen 2	1.5b	Reconocimiento de entidad nombrado	Qlora	Enlace
Llama 3	8b	Adaptación interlingüística	Lora	Enlace

Nota

Lora es una técnica elegante, pero ajustando los LLM con TI exige un esfuerzo considerable de ingeniería. El rendimiento óptimo requiere una optimización exhaustiva. En nuestro repositorio, proporcionamos ejemplos fundamentales: considerarlos su punto de partida. Hay numerosos pasos para lograr la excelencia. Le recomendamos que aproveche sus talentos y creatividad para lograr resultados más destacados.