hands on lora

Bahasa Inggris | 中文

Lora Hands-On: LLMS Fine-Tuning Praktis Menggunakan Lora

Pembelajaran yang mendalam adalah ilmu eksperimental. Jika tangan Anda tidak kotor, bagaimana pikiran Anda bisa bagus?

Perkenalan

: "Lora, yang membekukan bobot model pretrained dan menyuntikkan matriks dekomposisi peringkat yang dapat dilatih ke dalam setiap lapisan arsitektur transformator, sangat mengurangi jumlah parameter yang dapat dilatih untuk tugas hilir."

A&B yang dapat dilatih (hanya)

Contoh

Llm	Tidak. Parameter	Tugas	Lora/Qlora	Kode
Gemma-it	2b	Pembuatan teks-ke-teks	Qlora	Link
Qwen 2	1.5b	Pengakuan entitas yang disebutkan	Qlora	Link
Llama 3	8b	Adaptasi lintas-bahasa	Lora	Link

Catatan

Lora adalah teknik yang elegan, namun menyempurnakan LLMS dengan itu menuntut upaya rekayasa yang cukup besar. Kinerja optimal membutuhkan optimasi menyeluruh. Di repositori kami, kami memberikan contoh dasar - mempertimbangkan mereka titik awal Anda. Ada banyak langkah untuk mencapai keunggulan. Kami mendorong Anda untuk memanfaatkan bakat dan kreativitas Anda untuk mencapai hasil yang lebih luar biasa.