hands on lora

영어 | 中文

실습 LORA : LORA를 사용한 실용적인 미세 조정 LLM

딥 러닝은 실험 과학입니다. 손이 더러워지지 않으면 어떻게 당신의 마음이 멋질 수 있습니까?

소개

: "사전에 걸린 모델 가중치를 얼리고 트랜스 스트림 아키텍처의 각 층에 훈련 가능한 순위 분해 매트릭스를 주입하여 다운 스트림 작업을위한 훈련 가능한 매개 변수의 수를 크게 줄이는 LORA."

훈련 가능한 A & B (전용)

예

LLM	아니요. 매개 변수	일	로라/Qlora	암호
Gemma-it	2B	텍스트-텍스트 생성	Qlora	링크
Qwen 2	1.5b	지명 된 엔티티 인식	Qlora	링크
라마 3	8b	교차 언어 적응	로라	링크

메모

Lora는 우아한 기술이지만 미세 조정 LLM으로 상당한 엔지니어링 노력이 필요합니다. 최적의 성능은 철저한 최적화가 필요합니다. 저장소에서는 기본 예제를 제공합니다. 우수성을 달성하기위한 수많은 단계가 있습니다. 더 뛰어난 결과를 얻기 위해 재능과 창의성을 활용하도록 권장합니다.