Experimenting with modularity in deep learning
1.0.0
يتم تنفيذ المشروع لشبكات الدورة العصبية لعلوم البيانات في Sapienza ، بهدف أن يكون هناك عملية تدريبية مع المجال الأخير للشبكات المعيارية. تهدف الشبكات المعيارية إلى توفير بديل ل tecnique مثل التقطير من أجل تقليل وقت التدريب والاستدلال أو الميزانية الحسابية الإجمالية التي تمنحها الهندسة المعمارية العميقة في هذه الأيام.
نوع الشبكات المعيارية التي أقوم بتطبيقها هو الخروج المبكر عبر نموذج VGG11 من نقطة الصفر في TensorFlow Keras لتصنيف الصور بالنظر إلى مجموعة بيانات الزهور. وبشكل أكثر تحديداً ، أضف مخارجًا مبكرة ثابتة في الهندسة المعمارية السابقة وأدرّب النموذج الجديد مع فقدان الانتروبيا المشترك باستخدام كل التنبؤ بالخروج المبكر والآخر. يتم الاستنتاج من خلال عملية عتبة على إنتروبيا طبقة الخروج المبكرة التي تضمن الخروج في وقت مبكر أو متابعة. الطبقة المبكرة المبكرة هي مصنف صغير لطبقتان متتابعين: الالتواء وواحدة متصلة بالكامل. يتم تنفيذ فرع الخروج المبكر بعد كل كتلة تلافيفية في النموذج ، ليصبح المجموع 5 ، من أجل استكشاف المزيد من هذه البنية المعيارية.
[1] لماذا يجب أن نضيف مخارج مبكرة إلى الشبكات العصبية؟
[2] ديبرت: الخروج المبكر الديناميكي لتسريع استنتاج بيرت
[3] تعمق أكثر مع الملاحظات
