LoLDU

Loldu: การปรับระดับต่ำผ่านการสลายตัวของ diag-diag-upper

Loldu เป็นเทคนิคการปรับแต่งพารามิเตอร์ที่ทันสมัย ​​(PEFT) ที่ออกแบบมาเพื่อลดจำนวนพารามิเตอร์ที่สามารถฝึกอบรมได้อย่างมากในขณะที่บรรลุระดับประสิทธิภาพเทียบเท่ากับการปรับแต่งแบบเต็ม เอกสารนี้สรุปขั้นตอนที่จำเป็นในการรวม Loldu เข้ากับโครงการของคุณอย่างมีประสิทธิภาพ

สำหรับรายละเอียดเพิ่มเติมโปรดดูที่กระดาษ: https://arxiv.org/pdf/2410.13618

สารบัญ

1. การติดตั้ง
2. คุณสมบัติที่สำคัญ
3. เริ่มต้นอย่างรวดเร็ว
4. การอ้างอิง API
5. ตัวอย่างการใช้งาน
6. แนวทางปฏิบัติที่ดีที่สุด

การติดตั้ง

ในการติดตั้ง loldu เพียงใช้ PIP:

git clone https://github.com/SKDDJ/LoLDU
cd LoLDU
pip install -e . 

คุณสมบัติที่สำคัญ

• ลดจำนวนพารามิเตอร์ที่ฝึกอบรมได้อย่างมีนัยสำคัญ (น้อยกว่า 2600 เท่าของวิธี PEFT ปกติ)
• รักษาประสิทธิภาพให้เทียบเคียงได้กับการปรับแต่งอย่างเต็มที่
• ใช้ประโยชน์จากการสลายตัวของ diag-diag-upper (LDU) เพื่อการลู่เข้าและ orthogonality ที่เร็วขึ้นและ orthogonality
• มุ่งเน้นไปที่การเพิ่มประสิทธิภาพเมทริกซ์แนวทแยงสำหรับการปรับขนาดการปรับขนาด
• เข้ากันได้กับสถาปัตยกรรมแบบจำลองต่าง ๆ (เช่น Llama2, Roberta, Vit, การแพร่กระจายที่มั่นคง)

เริ่มต้นอย่างรวดเร็ว

นี่คือตัวอย่างอย่างรวดเร็วของวิธีการใช้ Loldu:

 import torch
import torch . nn as nn
from functools import partial
from minloldu import LoLDUParametrization , add_loldu , get_loldu_params

# Define your model
model = YourModel ()

# Define LoLDU configuration
loldu_config = {
    nn . Linear : {
        "weight" : partial ( LoLDUParametrization . from_linear , rank = 15 ),
    },
}

# Add LoLDU to the model
add_loldu ( model , loldu_config = loldu_config )

# Freeze all parameters
for param in model . parameters ():
    param . requires_grad = False

# Enable gradients for LoLDU parameters
for param in get_loldu_params ( model ):
    param . requires_grad = True

# Now your model is ready for fine-tuning with LoLDU 

การอ้างอิง API

ฟังก์ชั่นหลัก

1. add_loldu(model, loldu_config)

   • เพิ่มพารามิเตอร์ loldu ให้กับโมเดลที่ระบุ
   • model : โมเดล Pytorch เพื่อแก้ไข
   • loldu_config : พจนานุกรมการกำหนดค่าสำหรับ loldu

2. get_loldu_params(model, print_shapes=False)

   • ส่งคืนพารามิเตอร์ loldu ของโมเดล
   • model : รุ่น Pytorch กับ Loldu
   • print_shapes : ถ้าเป็นจริงให้พิมพ์รูปร่างของพารามิเตอร์ loldu

3. disable_loldu(model)

   • ปิดใช้งาน Loldu ชั่วคราวในแบบจำลอง

4. enable_loldu(model)

   • เปิดใช้งาน Loldu อีกครั้งในแบบจำลองหลังจากปิดการใช้งาน

5. remove_loldu(model)

   • ลบ Loldu ออกจากโมเดลอย่างสมบูรณ์

6. merge_loldu(model)

   • ผสานพารามิเตอร์ Loldu เข้ากับน้ำหนักรุ่นดั้งเดิมเพื่อการอนุมานที่มีประสิทธิภาพ

7. get_loldu_state_dict(model)

   • ส่งคืนพจนานุกรมสถานะของพารามิเตอร์ loldu สำหรับการบันทึก

คลาส Lolduparametrization

• LoLDUParametrization.from_linear(layer, rank)
  • สร้างพารามิเตอร์ loldu สำหรับเลเยอร์เชิงเส้น
  • layer : เลเยอร์เชิงเส้นเป็นพารามิเตอร์
  • rank : อันดับสำหรับการประมาณระดับต่ำ

ตัวอย่างการใช้งาน

การเพิ่ม loldu ลงในโมเดล

 from minloldu import LoLDUParametrization , add_loldu
from functools import partial

class MyModel ( nn . Module ):
    def __init__ ( self ):
        super (). __init__ ()
        self . model = nn . Sequential (
            nn . Linear ( in_features = 15 , out_features = 15 ),
        )
    def forward ( self , x ):
        return self . model ( x )

model = MyModel ()

loldu_config = {
    nn . Linear : {
        "weight" : partial ( LoLDUParametrization . from_linear , rank = 15 ),
    },
}

add_loldu ( model , loldu_config = loldu_config )

การฝึกอบรมกับ loldu

 from minloldu import get_loldu_params

# Freeze all parameters
for param in model . parameters ():
    param . requires_grad = False

# Enable gradients for LoLDU parameters
for param in get_loldu_params ( model ):
    param . requires_grad = True

# Your training loop here

การบันทึกและโหลดสถานะ loldu

 from minloldu import get_loldu_state_dict

# Save LoLDU state
state_dict_to_save = get_loldu_state_dict ( model )
torch . save ( state_dict_to_save , "loldu_state.pth" )

# Load LoLDU state
loaded_state = torch . load ( "loldu_state.pth" )
model . load_state_dict ( loaded_state , strict = False )

การรวม Loldu สำหรับการอนุมาน

 from minloldu import merge_loldu

# After training, merge LoLDU for efficient inference
merge_loldu ( model )

แนวทางปฏิบัติที่ดีที่สุด

1. เลือกอันดับที่เหมาะสม : พารามิเตอร์อันดับใน lolduparametrization มีผลต่อการแลกเปลี่ยนระหว่างประสิทธิภาพของพารามิเตอร์และประสิทธิภาพของโมเดล ทดลองกับอันดับที่แตกต่างกันเพื่อค้นหาความสมดุลที่ดีที่สุดสำหรับงานของคุณ

2. การปรับแต่งพารามิเตอร์แบบปรับแต่ง : Loldu อาจต้องการอัตราการเรียนรู้ที่แตกต่างกันเมื่อเทียบกับการปรับแต่งแบบเต็ม ปรับอัตราการเรียนรู้ของคุณและพารามิเตอร์อื่น ๆ ตามลำดับ

3. ตรวจสอบการฝึกอบรม : จับตาดูกระบวนการฝึกอบรมเพื่อให้แน่ใจว่า Loldu ปรับตัวแบบจำลองได้อย่างมีประสิทธิภาพ ใช้ชุดการตรวจสอบความถูกต้องเพื่อป้องกันไม่ให้ overfitting

4. ผสานสำหรับการอนุมาน : ใช้ merge_loldu() เสมอก่อนที่จะปรับใช้โมเดลของคุณสำหรับการอนุมานเพื่อกำจัดค่าใช้จ่ายในการคำนวณใด ๆ

5. รวมกับเทคนิคอื่น ๆ : loldu สามารถรวมกับเทคนิคการปรับให้เหมาะสมอื่น ๆ เช่นการหาปริมาณเพื่อประสิทธิภาพที่มากยิ่งขึ้น

สำหรับข้อมูลรายละเอียดเพิ่มเติมและการใช้งานขั้นสูงโปรดดูเอกสารต้นฉบับและที่เก็บซอร์สโค้ด

---

บันทึก:
โปรดทราบว่ารหัสนี้อาจไม่ทำซ้ำผลลัพธ์ที่นำเสนอในกระดาษเนื่องจากข้อผิดพลาดของมนุษย์ที่อาจเกิดขึ้นในระหว่างการเตรียมและทำความสะอาดรหัสก่อนที่จะเปิดตัว หากคุณประสบกับความท้าทายใด ๆ ในการทำซ้ำการค้นพบของเราอย่าลังเลที่จะติดต่อเรา นอกจากนี้เรายังมุ่งมั่นที่จะทำการทดลองตรวจสอบสติในอนาคตอันใกล้

การรับทราบ
การใช้งาน Loldu ของเราได้รับการปรับปรุงอย่างมากโดย Minlora Codebase

bibtex

 @misc { shi2024loldulowrankadaptationlowerdiagupper ,
  title = { LoLDU: Low-Rank Adaptation via Lower-Diag-Upper Decomposition for Parameter-Efficient Fine-Tuning } , 
  author = { Yiming Shi and Jiwei Wei and Yujia Wu and Ran Ran and Chengwei Sun and Shiyuan He and Yang Yang } ,
  year = { 2024 } ,
  eprint = { 2410.13618 } ,
  archivePrefix = { arXiv } ,
  primaryClass = { cs.CV } ,
  url = { https://arxiv.org/abs/2410.13618 } ,
}