python keras polynomial deep networks

ประสิทธิภาพและพลังงานพหุนามในเครือข่ายลึก

โครงการนี้เป็นตัวอย่างการทดสอบความคิดบางอย่างที่นำเสนอในกระดาษของ Rolnick และ Tegmark พลังของเครือข่ายที่ลึกกว่าสำหรับการแสดงการทำงานตามธรรมชาติเช่นเดียวกับ Lin, Tegmark และบทความของ Rolnick ว่าทำไมการเรียนรู้ที่ลึกและราคาถูกจึงทำงานได้ดี

แนวคิดทั่วไปเกี่ยวกับวิธีการทำงาน

แนวคิดทั่วไปคือในขณะที่มีการระบุมานานแล้วว่าการแมปแบบไม่เชิงเส้นทั้งหมดสามารถทำได้ด้วยเครือข่ายตื้นอย่างน้อยสองชั้น แต่นี่อาจไม่ใช่การจัดสรรเซลล์ประสาทที่มีประสิทธิภาพมากที่สุด แนวคิดหลักเกิดขึ้นกับแนวคิดของการแยกตัวประกอบและแสดงออกผ่านเครือข่ายที่ประเมินพหุนามซึ่งแน่นอนว่ามีศักยภาพในการแยกปัจจัยที่ชัดเจน หากเราสมมติว่าเครือข่ายสามารถสอนได้อย่างมีประสิทธิภาพเพื่อแก้ปัญหาการเพิ่มประสิทธิภาพโดยการแฟคตอริ่งเมื่อแฟคตอริ่งเป็นตัวเลือกและแฟคตอริ่งเป็นวิธีการแก้ปัญหาที่เกิดขึ้นจาก backpropagation ทั่วไปจำนวนเซลล์ประสาททั้งหมดสามารถลดลงได้อย่างมากโดยมีความเข้าใจที่ดีขึ้นว่าปัญหาจะถูกเข้ารหัสในเครือข่าย โดยทั่วไปการพิจารณาประเภทนี้ช่วยให้เราเลือกเครือข่ายที่เล็กที่สุดที่ได้ประสิทธิภาพที่เพียงพอ

รายละเอียดของการดำเนินการ

ฮ่าฉันต้องจบและผลักมันกลับมาตรวจสอบเร็ว ๆ นี้!

มันเกี่ยวข้องกับแนวคิดอื่น ๆ อย่างไร

มีความสนใจเพิ่มขึ้นในการสำรวจเครือข่ายที่ดีที่สุด วิธีการของบทความนี้และการทดลองในโครงการนี้เป็นเพียงกลไกเดียว พื้นที่การสำรวจที่น่าสนใจอื่น ๆ รวมถึงการใช้อัลกอริทึมทางพันธุกรรมเพื่อกลายพันธุ์พารามิเตอร์ของเครือข่ายประสาทและควบคุมสมาชิกสปีชีส์ในรุ่นโดยการกำหนดมาตรการของความเหมาะสม แมตต์ฮาร์วีย์กำลังทำและแบ่งปันความสำเร็จในโพสต์กลางและ repo github ของเขา

มีแนวคิดใหม่ ๆ ในพื้นที่นี้ ยกตัวอย่างเช่น Google Meta-article โดยใช้การเรียนรู้ของเครื่องเพื่อสำรวจสถาปัตยกรรมเครือข่ายประสาทและบทความที่เกี่ยวข้องวิวัฒนาการขนาดใหญ่ของตัวแยกประเภทภาพและการค้นหาสถาปัตยกรรมประสาทด้วยการเรียนรู้การเสริมแรง พื้นที่นี้สุกงอมสำหรับการสำรวจ!

ความคิดทั้งหมดเหล่านี้เป็นที่สนใจของฉันอย่างมาก นับตั้งแต่ฉันเริ่มทำงานกับพฤติกรรมของฉันโคลนหุ่นยนต์ซึ่ง แต่เดิมใช้เครือข่ายที่เชื่อมต่ออย่าง เต็มที่ เพื่อควบคุมฉันได้ทราบว่าเครือข่ายที่เล็กที่สุดที่จำเป็นในการแก้ปัญหามากมายนั้นค่อนข้างเล็กจริง ๆ แน่นอนถ้าคุณดูที่จุดสิ้นสุดของ Nvidia ถึงจุดจบของการเรียนรู้สำหรับกระดาษรถยนต์ที่ขับเคลื่อนด้วยตนเองคุณอาจประหลาดใจที่เครือข่ายขนาดค่อนข้างเล็ก มันน่าตื่นเต้นมากที่ได้เห็นงานใหม่นี้เกี่ยวกับการเพิ่มประสิทธิภาพของเครือข่ายโดยใช้ทั้งแนวทางการทำงานตามอำเภอใจตามที่ Rolnick และ Tegmark กล่าวถึงและวิธีการทางพันธุกรรมอัลกอริทึมตามที่ Harvey กล่าวถึง