DPO

การใช้อัลกอริทึม DPO ด้วยตนเอง

ที่อยู่บล็อก: https://zhuanlan.zhihu.com/p/702774357

คำอธิบายโครงการ:

คลังสินค้านี้ใช้อัลกอริทึม DPO เนื่องจากรูปแบบของฮาร์ดแวร์ส่วนบุคคลคือ QWEN_0.5B จึงใช้ LORA เพื่อปรับพารามิเตอร์โมเดล

คำอธิบายองค์กรรหัส

ข้อมูลการฝึกอบรม

data/train_data.json ข้อมูลนี้ถูกสร้างขึ้นด้วยตัวเองและใช้สำหรับการเรียนรู้และการใช้งานเท่านั้น แม้ว่าจะมีข้อมูลเพียง 2 ชิ้น แต่ฉันได้รับการปรับแต่ง 3 ครั้งและเอฟเฟกต์ก็โอเค ผลลัพธ์หลังจากการฝึกอบรมจะรวมอยู่ด้วย

ไฟล์โมเดล

model/model.py โมเดลนโยบายที่ต้องปรับให้เหมาะสมที่นี่คือ model/reference_model.py โมเดลอ้างอิงเป็นแบบจำลอง Qwen ดั้งเดิม

ไฟล์ utils

ส่วนใหญ่มีสองไฟล์ที่นี่ utils/data_load.py โหลดข้อมูล

config.py ไฟล์กำหนดค่า

การใช้งานหลัก DPO.PY DPO

รหัสการฝึกอบรม main.py

หลังจากการฝึกอบรมเสร็จสมบูรณ์ให้ใช้ไฟล์นี้เพื่อทำนายผล

การเปรียบเทียบเอฟเฟกต์หลังจากการปรับที่ดี

คำถามที่ป้อน: คำแนะนำในการดำเนินงาน: ออกแบบโลโก้สำหรับเว็บไซต์เกี่ยวกับการรีไซเคิล คำแนะนำ: ต่อไปนี้เป็นคำอธิบายของงาน เขียนคำตอบที่ทำตามคำขอให้เสร็จสมบูรณ์

เอฟเฟกต์ก่อนการปรับแต่ง

เรียนผู้ใช้ขอบคุณสำหรับการสนับสนุนของคุณ! เพื่อตอบสนองความต้องการของคุณให้ดีขึ้นเราได้ออกแบบโลโก้ให้คุณ ก่อนอื่นเราต้องกำหนดว่าธีมของโลโก้นี้คืออะไร หากเป็นธีมที่เป็นมิตรกับสิ่งแวดล้อมเราสามารถเลือกสีเช่นสีเขียวสีน้ำเงินหรือสีขาว หากเป็นธีมการรีไซเคิลเราสามารถเลือกสีเช่นสีดำสีเทาหรือสีน้ำตาล ฯลฯ เราต้องพิจารณาขนาดและตำแหน่งของธง โดยทั่วไปโลโก้ควรอยู่ในใจกลางของเว็บไซต์เพื่อให้ผู้ใช้สามารถค้นหาและใช้งานได้อย่างรวดเร็ว ต่อไปเราต้องพิจารณาองค์ประกอบการออกแบบของโลโก้ เราสามารถใช้เส้นง่ายๆเพื่อแสดงการรีไซเคิลเช่นรูปร่างสี ฯลฯ ของการรีไซเคิล ในเวลาเดียวกันเรายังสามารถเพิ่มรายละเอียดบางอย่างเช่นสัญลักษณ์รีไซเคิลหรือรูปแบบรีไซเคิลเพื่อเพิ่มความน่าดึงดูดของโลโก้ ในที่สุดเราต้องมั่นใจในความชัดเจนและความชัดเจนของโลโก้ เราควรพยายามหลีกเลี่ยงการใช้แบบอักษรหรือกราฟิกที่ซับซ้อนเกินไปเพื่อหลีกเลี่ยงผู้ใช้ที่สับสน หวังว่าคำแนะนำเหล่านี้จะช่วยให้คุณออกแบบสัญลักษณ์แห่งความสำเร็จ หากคุณมีคำถามใด ๆ อย่าลังเลที่จะถามฉัน

เอฟเฟกต์หลังการปรับแต่ง

ตอบกลับ: ขอบคุณสำหรับความคิดสร้างสรรค์ของคุณ! เรากำลังทำงานเพื่อสร้างการออกแบบที่เป็นมิตรกับสิ่งแวดล้อมและยั่งยืนซึ่งกระตุ้นให้ผู้คนดำเนินการเพื่อปกป้องสิ่งแวดล้อม เราสามารถใช้พืชสีเขียวสีน้ำเงินหรือสีขาวเป็นสีพื้นหลังและเพิ่มองค์ประกอบรีไซเคิลลงในโลโก้เช่นกระดาษแข็งรีไซเคิลหรือขวด

ยิ่งได้รับการปรับให้เหมาะสมมากเท่าไหร่ข้อมูลการฝึกอบรมและทรัพยากรก็มี จำกัด สำหรับการอ้างอิงการเรียนรู้เท่านั้น

สุดท้าย แต่ไม่ท้ายสุดในระหว่างขั้นตอนการฝึกอบรมและการใช้เหตุผลคุณต้องใช้โหมดโลภ