hands on lora

ภาษาอังกฤษ | 中文

Hands-on Lora: LLMS การปรับแต่งที่ใช้งานได้จริงโดยใช้ LORA

การเรียนรู้อย่างลึกซึ้งเป็นวิทยาศาสตร์การทดลอง ถ้ามือของคุณไม่สกปรกจิตใจของคุณจะดีได้อย่างไร?

การแนะนำ

: "Lora ซึ่งค้างน้ำหนักแบบจำลองที่ได้รับการฝึกฝนและฉีดเมทริกซ์การสลายตัวของอันดับที่ฝึกได้ลงในแต่ละชั้นของสถาปัตยกรรมหม้อแปลงลดลงอย่างมากลดจำนวนพารามิเตอร์ที่สามารถฝึกอบรมได้สำหรับงานดาวน์สตรีม"

ฝึก A&B (เท่านั้น)

ตัวอย่าง

llm	ไม่พารามิเตอร์	งาน	Lora/Qlora	รหัส
Gemma-it	2B	การสร้างข้อความเป็นข้อความ	Qlora	การเชื่อมโยง
Qwen 2	1.5B	การจดจำเอนทิตีชื่อ	Qlora	การเชื่อมโยง
ลามะ 3	8B	การดัดแปลงข้ามภาษา	Lora	การเชื่อมโยง

บันทึก

Lora เป็นเทคนิคที่สง่างาม ประสิทธิภาพที่ดีที่สุดต้องการการเพิ่มประสิทธิภาพอย่างละเอียด ในพื้นที่เก็บข้อมูลของเราเราให้ตัวอย่างพื้นฐาน - พิจารณาจุดเริ่มต้นของคุณ มีหลายขั้นตอนในการบรรลุความเป็นเลิศ เราขอแนะนำให้คุณใช้ประโยชน์จากความสามารถและความคิดสร้างสรรค์ของคุณเพื่อให้ได้ผลลัพธ์ที่โดดเด่นมากขึ้น