ในสาขาการเรียนรู้อย่างลึกซึ้งเลเยอร์การทำให้เป็นมาตรฐานได้รับการยกย่องว่าเป็นหนึ่งในองค์ประกอบที่ขาดไม่ได้ในเครือข่ายประสาทที่ทันสมัย อย่างไรก็ตามการศึกษาเมื่อเร็ว ๆ นี้นำโดยนักวิทยาศาสตร์การวิจัย Meta Fair Liu Zhuang "หม้อแปลงที่ไม่มีเลเยอร์การทำให้เป็นมาตรฐาน" ได้ดึงดูดความสนใจอย่างกว้างขวาง การศึกษาครั้งนี้ไม่เพียง แต่เสนอเทคโนโลยีใหม่ที่เรียกว่า Dynamic Tanh (Dynamic Tanh, DYT) แต่ยังแสดงให้เห็นว่าสถาปัตยกรรมของหม้อแปลงยังคงสามารถฝึกอบรมและให้เหตุผลได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้เลเยอร์การทำให้เป็นมาตรฐานแบบดั้งเดิม
เลเยอร์การทำให้เป็นมาตรฐานโดยเฉพาะอย่างยิ่งเลเยอร์การทำให้เป็นมาตรฐาน (LN) มีบทบาทสำคัญในการเพิ่มประสิทธิภาพแบบจำลองการเรียนรู้ลึกในช่วงทศวรรษที่ผ่านมา เลเยอร์ LN เร่งการบรรจบกันของโมเดลโดยการปรับขนาดและบีบอัดการเปิดใช้งานอินพุต อย่างไรก็ตามนักวิจัยพบว่าการใช้เลเยอร์ LN อย่างกว้างขวางไม่ใช่ทางเลือกเดียว การวิจัยของพวกเขาเริ่มต้นด้วยการสังเกตพฤติกรรมของเลเยอร์ LN และเสนอวิธีทางเลือกใหม่ DYT การดำเนินการระดับองค์ประกอบนี้ไม่เพียง แต่จำลองเอฟเฟกต์การปรับสเกลและการบีบอัดของเลเยอร์ LN แต่ยังช่วยลดการคำนวณข้อมูลการเปิดใช้งานที่ซับซ้อน
ในการทดลองทีมวิจัยแทนที่เลเยอร์การทำให้เป็นมาตรฐานแบบดั้งเดิมในสถาปัตยกรรมหม้อแปลงหลายตัวด้วย DYT และผลการวิจัยพบว่าแบบจำลองที่ใช้ DYT สามารถฝึกฝนได้อย่างเสถียรและบรรลุประสิทธิภาพขั้นสุดท้ายที่สูงขึ้น สิ่งที่น่าตื่นเต้นยิ่งกว่านั้นคือวิธีการใหม่นี้มักจะไม่จำเป็นต้องมีการปรับเปลี่ยนพารามิเตอร์ไปยังสถาปัตยกรรมดั้งเดิมลดความซับซ้อนของการฝึกอบรมแบบจำลอง
จากการวิเคราะห์กระบวนการแพร่กระจายไปข้างหน้าของแบบจำลองหม้อแปลงที่แตกต่างกันสามแบบนักวิจัยพบว่าเลเยอร์ LN ยุคแรกแสดงความสัมพันธ์เชิงเส้น แต่ในชั้น LN ที่ลึกกว่าความสัมพันธ์ระหว่างอินพุตและเอาต์พุตแสดงเส้นโค้งรูปตัว S คล้ายกับฟังก์ชัน TANH การค้นพบนี้ทำให้ทีมวิจัยประหลาดใจและยังให้การสนับสนุนเชิงประจักษ์ที่แข็งแกร่งสำหรับประสิทธิภาพของ DYT
Liu Zhuang กล่าวว่างานนี้ช่วยให้เขาเข้าใจบทบาทของเลเยอร์การทำให้เป็นมาตรฐานอย่างลึกซึ้งและคาดว่า DYT จะนำความเป็นไปได้ใหม่ ๆ เพื่อลดต้นทุนการฝึกอบรมแบบจำลองและการใช้เหตุผล ในอนาคต DYT คาดว่าจะกลายเป็นผู้สมัครที่สำคัญในการออกแบบเครือข่ายที่มุ่งเน้นประสิทธิภาพเพื่อส่งเสริมการพัฒนาต่อไปของการเรียนรู้อย่างลึกซึ้ง