MoreLoRA

موريلورا

لورا الأصلي:

$ w = w_0 + UV $ و $ رتبة (UV) leq r $

تهيئة أفضل:

$ w = w_0 - u_0 {v_0} + UV $

لورا المضافة:

ستر أين $ u in mathbb {r}^{m times r} ، v in { mathbb {r}^{r times n}} $ و $ رتبة (UV) leq 2r $

هادامارد مول لورا:

$ w = w_0 + odot_ {i = 1}^{i = k} ( delta_i) $ أين $ delta_i = u_iv_i $

$ r '= frac {r} {k} ، u_i in mathbb {r}^{m times r'} $ و $ v_i in mathbb {r}^{r ' times n} $ و $ RANK ( ODOT_ {i = 1}^{i = k} ( delta_i^t)) leq ( frac {r} {k})^k $

Hadamard add Lora:

$ w = w_0 + odot_ {i = 1}^{i = k} ( delta_i) $ أين $ delta_i = u_ii_ {r '(1 times frac {n} {r'})}+i_ {r '( frac {m} {r'} times 1)} v_i $

$ r '= frac {r} {k} $ و $ u_i in mathbb {r}^{r ' times n} $ و $ v_i in mathbb {r}^{m times r '} $ و $ RANK ( ODOT_ {i = 1}^{i = k} ( delta_i)) leq ( frac {2r} {k})^k $

هادامارد لورا: التنشيط

$ delta = odot_ {i = 1}^{i = k} ( tanh (u_iv_i^t)) $

$ delta = odot_ {i = 1}^{i = k} ( sigma (u_iv_i^t)) $

ديلورا:

قم بتحديث سلسلة من الرتب بشكل عشوائي

تحديث جزء من الطبقات

مرجع:

 @online { kexuefm-9590 ,
    title = {梯度视角下的LoRA：简介、分析、猜测及推广} ,
    author = {苏剑林} ,
    year = { 2023 } ,
    month = { Apr } ,
    url = { url{https://spaces.ac.cn/archives/9590} } ,
}

 @misc { hyeonwoo2023fedpara ,
      title = { FedPara: Low-Rank Hadamard Product for Communication-Efficient Federated Learning } , 
      author = { Nam Hyeon-Woo and Moon Ye-Bin and Tae-Hyun Oh } ,
      year = { 2023 } ,
      eprint = { 2108.06098 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.LG }
}