Starcoder2 Finetune Code Completion

Reflejos

Este proyecto demuestra el proceso de ajustar el modelo StarCoder2-3b, un LLM generador de código, en código patentado, que podríamos imaginar como base de código interno de una empresa, para alinearse mejor con los estándares de codificación interna y aprovechar las bibliotecas especializadas. Dado el tamaño sustancial de estos modelos, los enfoques tradicionales de ajuste fino pueden ser excesivamente exigentes en los recursos computacionales. Sin embargo, introduciremos técnicas para ajustar de manera efectiva estos modelos en una sola GPU utilizando Qlora, Peft y bits y bytes, asegurando un enfoque más práctico para entornos de recursos limitados.