Starcoder2 Finetune Code Completion
1.0.0
Dieses Projekt zeigt den Prozess der Feinabstimmung des StarCoder2-3b-Modells, eines Code-erzeugenden LLM, über den proprietären Code, den wir uns als interne Codebasis eines Unternehmens vorstellen können, um besser an interne Codierungsstandards auszurichten und spezialisierte Bibliotheken zu nutzen. Angesichts der erheblichen Größe dieser Modelle können traditionelle Feinabstimmungsansätze für Rechenressourcen übermäßig anspruchsvoll sein. Wir werden jedoch Techniken einführen, um diese Modelle nur für eine einzelne GPU mit Qlora, PEFT, Bits und Bits und Bytes effektiv abzustimmen, um einen praktischeren Ansatz für ressourcenbegrenzte Umgebungen zu gewährleisten.
