Starcoder2 Finetune Code Completion
1.0.0
이 프로젝트는 회사의 내부 코드베이스로 상상할 수있는 독점 코드에서 코드 생성 LLM 인 StarCoder2-3B 모델을 미세 조정하는 프로세스를 보여줍니다. 이러한 모델의 상당한 크기를 감안할 때, 전통적인 미세 조정 접근법은 계산 자원에 대해 과도하게 요구 될 수 있습니다. 그러나 Qlora, PEFT 및 비트 및 바이트를 사용하여 단일 GPU에서 이러한 모델을 효과적으로 미세 조정하여 리소스 제한 환경에 대한보다 실용적인 접근 방식을 보장하는 기술을 도입합니다.
