Experimenting with modularity in deep learning
1.0.0
โครงการนี้ดำเนินการสำหรับเครือข่ายประสาทสำหรับวิทยาศาสตร์ข้อมูลที่ Sapienza โดยมีจุดประสงค์เพื่อให้มีเครือข่ายโมดูลาร์เมื่อเร็ว ๆ นี้ เครือข่ายแบบแยกส่วนมีเป้าหมายที่จะให้ทางเลือกแก่ tecnique เช่นการกลั่นเพื่อลดเวลาการฝึกอบรมและการอนุมานหรืองบประมาณการคำนวณโดยรวมที่ได้รับจากสถาปัตยกรรมลึกที่จะลึกลงไปในปัจจุบัน
ประเภทของเครือข่ายโมดูลาร์ที่ฉันใช้เป็นทางออกก่อนหน้านี้ผ่านรุ่น VGG11 ตั้งแต่เริ่มต้นในเทนเซอร์โฟลว์ keras สำหรับการจำแนกภาพที่ได้รับชุดข้อมูลดอกไม้ โดยเฉพาะอย่างยิ่งฉันเพิ่มทางออกก่อนกำหนดในสถาปัตยกรรมก่อนหน้านี้และฝึกอบรมโมเดลใหม่ด้วยการสูญเสียเอนโทรปีข้ามร่วมโดยใช้การทำนายการออกก่อนกำหนดและขั้นสุดท้าย การอนุมานจะดำเนินการโดยการดำเนินการเกณฑ์บนเอนโทรปีของเลเยอร์ทางออกก่อนหน้าซึ่งทำให้แน่ใจว่าออกก่อนหรือดำเนินการต่อ เลเยอร์ก่อนออกเป็นตัวจําแนกขนาดเล็กของสองเลเยอร์ต่อเนื่อง: convolution และหนึ่งที่เชื่อมต่ออย่างเต็มที่ สาขา Exit Exit จะถูกนำไปใช้หลังจากทุกบล็อก convolutional ในโมเดลรวมทั้งหมด 5 เพื่อสำรวจสถาปัตยกรรมแบบแยกส่วนนี้มากขึ้น
[1] ทำไมเราควรเพิ่มทางออกก่อนในเครือข่ายประสาท
[2] Deebert: ออกจากช่วงต้นแบบไดนามิกเพื่อเร่งการอนุมานเบิร์ต
[3] ลึกลงไปด้วยการโน้มน้าวใจ
