Starcoder2 Finetune Code Completion
1.0.0
يوضح هذا المشروع عملية ضبط طراز Starcoder2-3b ، وهو LLM الذي يولد رمزًا ، على رمز الملكية ، والذي يمكن أن نتخيله باعتباره قاعدة الشفرة الداخلية للشركة ، لتتوافق بشكل أفضل مع معايير الترميز الداخلية والاستفادة من المكتبات المتخصصة. بالنظر إلى الحجم الكبير لهذه النماذج ، يمكن أن تتطلب أساليب الضبط التقليدي التقليدية بشكل مفرط على الموارد الحسابية. ومع ذلك ، سنقدم تقنيات لضبط هذه النماذج بشكل فعال على وحدة معالجة رسمية واحدة فقط باستخدام Qlora و PEFT و Bits والبايت ، مما يضمن اتباع نهج أكثر عملية للبيئات المحدودة للموارد.
