มหาวิทยาลัย Tsinghua และ Microsoft ร่วมมือกันสร้าง Differential Transformer ซึ่งช่วยให้ AI สามารถโฟกัสได้มากขึ้นและเพิ่มความแม่นยำขึ้น 30%!
การตีความของบรรณาธิการ Downcodes: กลไกความสนใจของโมเดล Transformer มักถูกรบกวนโดยข้อมูลที่ไม่เกี่ยวข้อง ส่งผลให้ประสิทธิภาพลดลง บทความล่าสุดเสนอ Differential Transformer ซึ่งใช้กลไกการให้ความสนใจที่แตกต่างกัน เช่น "หูฟังตัดเสียงรบกวน" เพื่อกำจัด
2025-03-03
