AI_Coding

AI-ASSISTED CODING & LLM พร้อมวิศวกรรม

การแนะนำ

พื้นที่เก็บข้อมูลนี้ให้ทรัพยากรและการสาธิตที่เกี่ยวข้องกับการเข้ารหัส AI-Assisted โมเดลภาษาขนาดใหญ่อัตโนมัติ (LLMs) และเทคนิควิศวกรรมที่รวดเร็วขั้นสูง

หัวข้อที่ครอบคลุม:

1. การเข้ารหัส AI-Assisted
2. โมเดลภาษาขนาดใหญ่อัตโนมัติ (LLMS)
3. วิศวกรรมที่รวดเร็ว 201

---

การเข้ารหัส AI-Assisted

ที่เก็บประกอบด้วย สมุดบันทึก Jupyter ( AI_ASSISTED_CODING.ipynb ) แสดงให้เห็นถึงเทคนิคการเข้ารหัส AI-ASSISTED โดยใช้แบบจำลองภาษา

---

โมเดลภาษาอัตโนมัติ

LLMS Autoregressive ทำนายคำถัดไปตามข้อความอินพุตและทำงานเป็นเมล็ดที่น่าจะเป็น

แนวคิดหลัก:

• คำทำนายคำถัดไป: ให้คำนำหน้าแบบจำลองจะสร้างคำต่อไปที่เป็นไปได้มากที่สุด
• ลักษณะสุ่ม: อินพุตที่กำหนดอาจสร้างผลลัพธ์ที่แตกต่างกันตัวอย่างจากการแจกแจงความน่าจะเป็นซึ่งอาจส่งผลให้เกิดความไม่สอดคล้องหรือภาพหลอน
• การคำนวณความน่าจะเป็น: แบบจำลองภาษากำหนดความน่าจะเป็นให้กับลำดับของคำตามการสังเกตก่อนหน้า

ประเภทของแบบจำลองภาษาขนาดใหญ่:

1. Base LLM (ได้รับการฝึกอบรมมาก่อน): ได้รับการฝึกฝนเกี่ยวกับ Corpora ข้อความขนาดใหญ่เพื่อทำนายคำต่อไปในประโยค
2. LLM ที่ปรับแต่งคำสั่ง (ปรับแต่ง): ปรับให้เหมาะสมเพื่อทำตามคำแนะนำและปรับปรุงความแม่นยำในการตอบสนองโดยใช้เทคนิคเช่น:
   • ดูแลการปรับแต่ง (SFT)
   • การเรียนรู้การเสริมแรงด้วยความคิดเห็นของมนุษย์ (RLHF)
   • การเพิ่มประสิทธิภาพการตั้งค่าโดยตรง (DPO)

---

การสุ่มตัวอย่างและพารามิเตอร์

พารามิเตอร์คีย์การควบคุมเอาต์พุตโมเดล:

• อุณหภูมิ: ควบคุมการสุ่ม (ค่าที่สูงกว่า = ความคิดสร้างสรรค์มากขึ้นค่าที่ต่ำกว่า = การตอบสนองที่กำหนดขึ้นมากขึ้น)
• Top-P (การสุ่มตัวอย่างนิวเคลียส): จำกัด การเลือกโทเค็นสำหรับชุดย่อยที่เป็นไปได้มากที่สุด
• LogProbs: บันทึกคะแนนความน่าจะเป็นสำหรับการดีบักและการวิเคราะห์ความมั่นใจ
• บทลงโทษ:
  • การลงโทษความถี่: ลดการทำซ้ำคำที่พบบ่อย
  • การลงโทษการปรากฏตัว: ส่งเสริมผลลัพธ์ที่หลากหลายโดยหลีกเลี่ยงวลีซ้ำ ๆ
• โทเค็นสูงสุด: จำกัดความยาวการตอบสนอง
• หยุดลำดับ: กำหนดลำดับโทเค็นที่หยุดการสร้างข้อความ
• n & best_of: ควบคุมจำนวนของความสำเร็จที่สร้างขึ้น

---

วิศวกรรมที่รวดเร็ว 201

ที่เก็บรวมถึง สมุดบันทึก Jupyter ( PROMPT_ENGINEERING.ipynb ) แสดงให้เห็นถึงเทคนิคการเพิ่มประสิทธิภาพที่รวดเร็วสำหรับ LLMS

หัวข้อหลัก:

• การทำความเข้าใจพฤติกรรมของแบบจำลอง: การปรับแต่งอย่างละเอียดเพื่อให้บรรลุการตอบสนองที่ต้องการ
• การควบคุมความคิดสร้างสรรค์และความแม่นยำ: การปรับพารามิเตอร์สำหรับเอาต์พุตที่มีโครงสร้างสอดคล้องกันและเกี่ยวข้อง
• การแก้ไขข้อบกพร่องการตอบสนองของโมเดล: การใช้ความน่าจะเป็นบันทึกเพื่อปรับแต่งพรอมต์

---

การสาธิตและการใช้งาน

ในการสำรวจแนวคิดให้เรียกใช้สมุดบันทึก Jupyter ที่ให้ไว้:

1. AI_ASSISTED_CODING.ipynb การสาธิตการเข้ารหัส AI-ASSISTED
2. PROMPT_ENGINEERING.ipynb - กลยุทธ์ทางวิศวกรรมที่รวดเร็วขั้นสูง

---

การอ้างอิง

• deeplearning.ai - วิศวกรรมพรอมต์ CHATGPT
• Stanford NLP (CS224N)
• การวิจัยวิศวกรรม AI

สำหรับการมีส่วนร่วมให้เปิดคำขอดึงหรือสร้างปัญหาในที่เก็บนี้ การเข้ารหัสมีความสุข!