MoreLoRA

モレロラ

オリジナルロラ：

$ w = w_0 + uv $そして $ rank（uv） leq r $

より良い初期化：

$ w = w_0 -u_0 {v_0} + uv $

添加剤：

$ w = w_0 + ui_ {r（1 times frac {n} {r}）} + i_ {r（ frac {m} {r} times 1）} v $どこ $ u in mathbb {r}^{m times r}、v in { mathbb {r}^{r times n}} $そして $ rank（uv） leq 2r $

Hadamard Mul Lora：

$ w = w_0 + odot_ {i = 1}^{i = k}（ delta_i）$どこ $ delta_i = u_iv_i $

$ r '= frac {r} {k}、u_i in mathbb {r}^{m times r'} $ 、 $ v_i in mathbb {r}^{r ' times n} $そして $ rank（ odot_ {i = 1}^{i = k}（ delta_i^t）） leq（ frac {r} {k}）^k $

Hadamard Add lora：

$ w = w_0 + odot_ {i = 1}^{i = k}（ delta_i）$どこ $ delta_i = u_ii_ {r '（1 times frac {n} {r'}）}+i_ {r '（ frac {m} {r'} times 1）} v_i $

$ r '= frac {r} {k} $ 、 $ u_i in mathbb {r}^{r ' times n} $ 、 $ v_i in mathbb {r}^{m times r '} $そして $ rank（ odot_ {i = 1}^{i = k}（ delta_i）） leq（ frac {2r} {k}）^k $

Hadamard Lora：活性化

$ delta = odot_ {i = 1}^{i = k}（ tanh（u_iv_i^t））$

$ delta = odot_ {i = 1}^{i = k}（ sigma（u_iv_i^t））$

ディロラ：

一連のランクをランダムに更新します

レイヤーの一部を更新します

参照：

 @online { kexuefm-9590 ,
    title = {梯度视角下的LoRA：简介、分析、猜测及推广} ,
    author = {苏剑林} ,
    year = { 2023 } ,
    month = { Apr } ,
    url = { url{https://spaces.ac.cn/archives/9590} } ,
}

 @misc { hyeonwoo2023fedpara ,
      title = { FedPara: Low-Rank Hadamard Product for Communication-Efficient Federated Learning } , 
      author = { Nam Hyeon-Woo and Moon Ye-Bin and Tae-Hyun Oh } ,
      year = { 2023 } ,
      eprint = { 2108.06098 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.LG }
}