Starcoder2 Finetune Code Completion

Основные моменты

Этот проект демонстрирует процесс точной настройки модели Starcoder2-3B, LLM, генерирующего код, о проприетарном коде, который мы могли бы представить как внутреннюю базу кодовой компании, чтобы лучше соответствовать внутренним стандартам кодирования и использовать специализированные библиотеки. Учитывая значительный размер этих моделей, традиционные подходы к тонкой настройке могут быть чрезмерно требовать от вычислительных ресурсов. Тем не менее, мы введем методы для эффективной настройки этих моделей только на одном графическом процессоре, используя Qlora, PEFT, биты и байты, обеспечивая более практичный подход для ограниченных ресурсов.