Subspace Tuning
1.0.0
歡迎來到我們的存儲庫，該存儲庫包含用於參數效率微調（PEFT）的各種子空間調整方法。子空間調整對於將大型預訓練模型調整為特定任務至關重要，對原始參數的變化很小。它努力確定最佳重量的最大投影
我們旨在為該領域的研究人員和從業人員提供全面的資源，並促進輕鬆整合您的項目。無論您是在這裡尋找項目的資源還是為了貢獻資源，我們都希望該存儲庫將是您研究旅程中有價值且令人振奮的一部分。
該存儲庫還包含我們從事的其他一些項目，這可能引導您在這裡。
要在此存儲庫中使用算法，請克隆存儲庫並安裝必要的依賴項。
克隆這個存儲庫：
git clone https://github.com/Chongjie-Si/Subspace-Tuning.git
cd Subspace-Tuning按照每個文件夾中的說明。
我們支持幾個任務，包括：
基於子空間調整理論，PEFT方法分為三類：基於重建，基於擴展和基於組合的方法。
我們主要在Loralib/中實施不同的方法。
| 類別 | 演算法 | 代碼 | 紙 |
|---|---|---|---|
| 重建 | Sam-Parser | 代碼 | 2024 AAAI |
| IA3 | 代碼 | 2022神經 | |
| SSB | 代碼 | 2024 Arxiv | |
| SSL | 代碼 | 2024 Arxiv | |
| BitFit | N/A。 | 2022 ACL | |
| 前綴調整 | 代碼 | 2021 ACL | |
| 及時調整 | 代碼 | 2021 EMNLP | |
| p-tuning | 代碼 | 2022 ACL | |
| Pissa | 代碼 | 2024 Arxiv | |
| 米洛拉 | 代碼 | 2024 Arxiv | |
| 擴大 | 洛拉 | 代碼 | 2022 ICLR |
| 阿達洛拉 | 代碼 | 2023 ICLR | |
| 植物群 | 代碼 | 2024 Arxiv | |
| Moslora | 代碼 | 2024 Arxiv | |
| Trilora | 代碼 | 2024 Arxiv | |
| 適配器（Houlsby） | N/A。 | 2019 ICML | |
| 適配器（pfeiffer） | N/A。 | 2021 ACL | |
| 平行適配器 | 代碼 | 2022 ICLR | |
| 組合 | 多拉 | 代碼 | 2024 ICML |
| SVDIFF | 代碼 | 2023 ICCV | |
| 光譜適配器 | 代碼 | 2024 Arxiv | |
| 洛拉 - 達什 | 代碼 | 2024 Arxiv | |
| 不斷添加更多算法和更新... | N/A。 | N/A。 |
我們還測試了在NLU和CR任務上的某些算法的性能。
我們歡迎對此存儲庫的貢獻！無論您是修復錯誤，添加新功能還是改進文檔，您的幫助都將受到讚賞。請遵循準則，以確保平穩的貢獻過程。
感謝您對我們的PEFT代碼存儲庫的關注。我們努力使這是您的項目和研究努力的寶貴資源。
我們的目標是促進一個協作環境，您和我們的研究人員都可以交流想法並進行合作。除了討論與代碼相關的問題外，我們鼓勵您分享您對任何PEFT方法論的觀點，並應對遇到的任何潛在挑戰。我們歡迎討論可能引發新的見解和創新。
此外，此代碼存儲庫具有更私人的性質，其中包含我在實驗中使用的任務和算法。如果您想實現任何算法或希望添加更多任務方案，請隨時向我發送電子郵件。您也可以訪問我的個人主頁以獲取更多詳細信息。
如果您有任何疑問，建議或反饋，請隨時通過[email protected]與我們聯繫。
如果您發現此存儲庫有用，請考慮給它一顆星並在您的工作中引用它：
@article { si2024see ,
title = { See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition } ,
author = { Si, Chongjie and Yang, Xiaokang and Shen, Wei } ,
journal = { arXiv preprint arXiv:2407.05417 } ,
year = { 2024 }
}該存儲庫還包含我們其他項目的代碼。如果您發現這些方法有用，請考慮給出一顆星星並引用它們的工作。
@article { si2024flora ,
title = { FLoRA: Low-Rank Core Space for N-dimension } ,
author = { Si, Chongjie* and Wang, Xuehui* and Yang, Xue and Xu, Zhengqin and Li, Qingyun and Dai, Jifeng and Qiao, Yu and Yang, Xiaokang and Shen, Wei } ,
journal = { arXiv preprint arXiv:2405.14739 } ,
year = { 2024 }
} @article { si2024unleashing ,
title = { Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning } ,
author = { Si, Chongjie* and Shi, Zhiyi* and Zhang, Shifan and Yang, Xiaokang and Pfister, Hanspeter and Shen, Wei } ,
journal = { arXiv preprint arXiv:2409.01035 } ,
year = { 2024 }
}該存儲庫是根據Apache 2.0許可證獲得許可的。有關更多詳細信息，請參見許可證文件。
