Starcoder2 Finetune Code Completion

Destaques

Este projeto demonstra o processo de ajuste fino do modelo StarCoder2-3b, um LLM gerador de código, em código proprietário, que poderíamos imaginar como a base de código interna de uma empresa, para se alinhar melhor com os padrões de codificação interna e alavancar bibliotecas especializadas. Dado o tamanho substancial desses modelos, as abordagens tradicionais de ajuste fina podem ser excessivamente exigentes sobre os recursos computacionais. No entanto, introduziremos técnicas para ajustar efetivamente esses modelos em apenas uma única GPU usando QLORA, PEFT e bits e bytes, garantindo uma abordagem mais prática para ambientes limitados por recursos.