Starcoder2 Finetune Code Completion

亮點

該項目展示了根據專有代碼進行微調starcoder2-3b模型（代碼生成的LLM）的過程，我們可以想像到這是公司的內部代碼庫，以更好地與內部編碼標准保持一致並利用專業庫。鑑於這些模型的實質性大小，傳統的微調方法可能對計算資源過度要求。但是，我們將介紹技術，以使用Qlora，Peft，Bits和Bytes在單個GPU上進行有效調整這些模型，從而確保對資源有限環境的更實際的方法。