hands on lora

Inglês | 中文

Lora prática: LLMs práticos de ajuste fino usando Lora

O aprendizado profundo é uma ciência experimental. Se suas mãos não estão sujas, como sua mente pode ser bacana?

Introdução

: "Lora, que congela os pesos pré -criados do modelo e injeta matrizes de decomposição de classificação treináveis ​​em cada camada da arquitetura do transformador, reduzindo bastante o número de parâmetros treináveis ​​para tarefas a jusante".

A&B treinável (somente)

Exemplos

Llm	Não. Parâmetros	Tarefa	Lora/Qlora	Código
Gemma-it	2b	Geração de texto para texto	Qlora	Link
Qwen 2	1.5b	Reconhecimento de entidade nomeado	Qlora	Link
LLAMA 3	8b	Adaptação cruzada	Lora	Link

Observação

A Lora é uma técnica elegante, mas os LLMs de ajuste fino exigem um esforço considerável de engenharia. O desempenho ideal requer otimização completa. Em nosso repositório, fornecemos exemplos fundamentais - considere seu ponto de partida. Existem inúmeras etapas para alcançar a excelência. Incentivamos você a alavancar seus talentos e criatividade para obter resultados mais excelentes.