LLM Lora PEFT_accumulate

llm-lora-peft_accumulate

歡迎來到llm-lora-peft_accumulate存儲庫！

該存儲庫包含與大語言模型（LLM）相關的實現和實驗，使用PEFT （參數有效調諧）， LORA （大語言模型的低級別適應）和Qlora （具有低級適配器的量化LLMS）。

與完整的精確模型相比

PEFT做什麼？

您可以在冷凍8位模型上輕鬆添加適配器，從而通過訓練一小部分參數來降低優化器狀態的內存要求

資源

網站

• HF-BitsandBytes-Noctegration
• ？ PEFT：低資源硬件上數十億個型號的參數效率微調
• llm.int8（）和新興功能
• TensorFloat-32-Precision-Format
• rlhf-llm
• 塞巴斯蒂安·拉斯卡（Sebastian Raschka）更有效地使用Lora和適配器的Falcon Llms填充獵鷹LLM

YouTube視頻

• 提高LLM的微調性能：帶有peft lora適配器的最佳體系結構在您的GPU上調整
• 如何修復自己的羊駝7b

？文件

• PEFT：參數有效的微調
• 洛拉：大語言模型的低排名
• Qlora：量化低級適配器的LLM
• llm.int8（）：變壓器的8位矩陣乘法規模
• SPQR：稀疏定量表示，用於近距離LLM重量壓縮

？ GitHub存儲庫

• Tloen Github倉庫

？ Python筆記本

• BITSANDBYTES-4BIT訓練

LLMS的SWOT

使用SWOT進行LLM分析以進行更多澄清。