LLM Lora PEFT_accumulate

llm-lora-peft_accumulate

欢迎来到llm-lora-peft_accumulate存储库！

该存储库包含与大语言模型（LLM）相关的实现和实验，使用PEFT （参数有效调谐）， LORA （大语言模型的低级别适应）和Qlora （具有低级适配器的量化LLMS）。

与完整的精确模型相比

PEFT做什么？

您可以在冷冻8位模型上轻松添加适配器，从而通过训练一小部分参数来降低优化器状态的内存要求

资源

网站

• HF-BitsandBytes-Noctegration
• ？ PEFT：低资源硬件上数十亿个型号的参数效率微调
• llm.int8（）和新兴功能
• TensorFloat-32-Precision-Format
• rlhf-llm
• 塞巴斯蒂安·拉斯卡（Sebastian Raschka）更有效地使用Lora和适配器的Falcon Llms填充猎鹰LLM

YouTube视频

• 提高LLM的微调性能：带有peft lora适配器的最佳体系结构在您的GPU上调整
• 如何修复自己的羊驼7b

？文件

• PEFT：参数有效的微调
• 洛拉：大语言模型的低排名
• Qlora：量化低级适配器的LLM
• llm.int8（）：变压器的8位矩阵乘法规模
• SPQR：稀疏定量表示，用于近距离LLM重量压缩

？ GitHub存储库

• Tloen Github仓库

？ Python笔记本

• BITSANDBYTES-4BIT训练

LLMS的SWOT

使用SWOT进行LLM分析以进行更多澄清。