brocode

พี่ชายที่เขียนรหัสกับคุณ

---

ภาพรวม

ทำไม Python เสมอ? มาหาแบบจำลองการสร้างรหัสสำหรับ TypeScript เท่านั้น!

ชุดข้อมูล

ฉันสร้างชุดข้อมูล 20K Instruct TypeScript มันคือ 20,000 คู่ของคำสั่งเอาท์พุท} ที่คุณไม่สามารถหาได้ในชุดข้อมูล LLMS Code Generation ปัจจุบัน (หรือบางทีคุณสามารถทำได้)

สำหรับเอาต์พุตขอบคุณ HuggingFace ฉันได้รับข้อมูลรหัส typescript จากโครงการสแต็ก
สำหรับคำแนะนำขอขอบคุณ OpenAI ฉันได้ขอการเรียกการโทร 20K API เพื่อสร้างคำสั่งและคำอธิบายสำหรับข้อมูลรหัสเหล่านั้น

การฝึกอบรม

• รุ่นพื้นฐาน: มันคือรหัส Llama - สั่ง 13b
• วิธีการปรับจูนพารามิเตอร์ที่มีประสิทธิภาพ: LORA
• ใช้การปรับแต่งคำแนะนำด้วย A100 GPU สองตัว

ทุกสิ่งอื่น ๆ เกี่ยวกับการฝึกอบรม (พารามิเตอร์บันทึก ... ) คุณสามารถดูได้ที่นี่ (เชื่อมโยงลิงค์การฝึกอบรมการฝึกอบรม HuggingFace ในภายหลัง)

ผลลัพธ์

ฉันใช้เกณฑ์มาตรฐาน Multipl-E (Cassano et al., 2023) เหมือนกับรหัสโมเดลพื้นฐาน Llama ที่ใช้ในกระดาษของพวกเขา

(เชื่อมโยงตารางผลการประเมินผลในภายหลัง)

ความรุ่งโรจน์

• ครอบครัวของฉันที่บอกฉันว่าอย่าเลิกทำวิทยานิพนธ์หลักนี้ในขณะที่ฉันเป็นนักพัฒนาเว็บ
• รองที่ปรึกษาวิทยานิพนธ์ของฉัน ศ. Quan Thanh Tho ที่สร้างแรงบันดาลใจให้ฉันในหัวข้อนี้
• modal.com สำหรับการทำให้ขั้นตอนการฝึกอบรมง่ายขึ้นมากขึ้น

แหล่งกำเนิด

คุณสามารถค้นหาผลงานของฉันได้ที่นี่:

• เว็บไซต์การอนุมาน: https://brocode.site (ปัจจุบันลงและไม่ใช่เวอร์ชันที่ถูกต้อง แต่ถ้าฉันตั้งค่าเซิร์ฟเวอร์ให้เสร็จสิ้นมันจะอยู่ที่นั่น)
• ชุดข้อมูล: TypeScript-Instruct 20K (โปรด ping ฉันถ้าคุณต้องการใช้สิ่งนี้ด้วย)
• โมเดลที่ปรับแต่งได้อย่างละเอียด: โมเดล Instruct TypeScript (จะเชื่อมโยงในภายหลังมันจะอยู่ใน HuggingFace ของฉันในที่สุด)

หรือติดต่อฉันที่นี่: https://levuminhhuy.site/about

อนาคต

• แล้วสนิมล่ะ!