Galore pytorch

[Inoffiziell] Galore: Gedächtniseffizientes LLM-Training durch Low-Rank-Projektion

Inoffizielle WIP-WIP -Implementierung von Galore: Gedächtniseffizientes LLM-Training durch Gradienten-niedrig-Rang-Projektion

Roadmap

• Ebenenweise Trainingstricks
• Proben -Trainingsschleife
• Fügen Sie Trainingsprotokolle für Spielzeugdaten hinzu
• trainieren auf echten* Daten

Referenz

 @article{zhao2024galore,
  title   = {GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection},
  author  = {Jiawei Zhao and Zhenyu Zhang and Beidi Chen and Zhangyang Wang and Anima Anandkumar and Yuandong Tian},
  year    = {2024},
  journal = {arXiv preprint arXiv: 2403.03507}
}