Starcoder2 Finetune Code Completion

ไฮไลท์

โครงการนี้แสดงให้เห็นถึงกระบวนการปรับแต่งโมเดล StarCoder2-3B ซึ่งเป็น LLM ที่สร้างรหัสในรหัสที่เป็นกรรมสิทธิ์ซึ่งเราสามารถจินตนาการได้ว่าเป็น codebase ภายในของ บริษัท เพื่อให้สอดคล้องกับมาตรฐานการเข้ารหัสภายในและใช้ประโยชน์จากห้องสมุดเฉพาะ ด้วยขนาดที่สำคัญของโมเดลเหล่านี้วิธีการปรับแต่งแบบดั้งเดิมสามารถเรียกร้องได้มากเกินไปในทรัพยากรการคำนวณ อย่างไรก็ตามเราจะแนะนำเทคนิคในการปรับแต่งโมเดลเหล่านี้อย่างมีประสิทธิภาพใน GPU เพียงครั้งเดียวโดยใช้ Qlora, PEFT และบิตและไบต์เพื่อให้มั่นใจว่าวิธีการที่ใช้งานได้จริงสำหรับสภาพแวดล้อมที่ จำกัด ทรัพยากร