Galore pytorch

[비공식] GALORE : 그라데이션 저 순위 투영에 의한 메모리 효율적인 LLM 교육

GALORE의 비공식 구현 : 그라디언트 저 순위 투영에 의한 메모리 효율적인 LLM 교육

로드맵

• 계층별 교육 트릭
• 샘플 훈련 루프
• 장난감 데이터에 교육 로그를 추가하십시오
• 실제* 데이터를 훈련시킵니다

참조

 @article{zhao2024galore,
  title   = {GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection},
  author  = {Jiawei Zhao and Zhenyu Zhang and Beidi Chen and Zhangyang Wang and Anima Anandkumar and Yuandong Tian},
  year    = {2024},
  journal = {arXiv preprint arXiv: 2403.03507}
}