Starcoder2 Finetune Code Completion

Points forts

Ce projet démontre le processus de réglage fin du modèle Starcoder2-3b, un LLM générant du code, sur le code propriétaire, que nous pourrions imaginer en tant que base de code interne d'une entreprise, pour mieux s'aligner sur les normes de codage interne et tirer parti des bibliothèques spécialisées. Compte tenu de la taille substantielle de ces modèles, les approches traditionnelles de réglage fin peuvent être excessivement exigeantes sur les ressources de calcul. Cependant, nous introduirons des techniques pour affiner efficacement ces modèles sur un seul GPU à l'aide de Qlora, PEFT et BITS et octets, garantissant une approche plus pratique pour les environnements limités aux ressources.