relational networks

تنفيذ Pytorch للشبكات العلائقية - وحدة شبكة عصبية بسيطة للتفكير العلائقي

تم تنفيذها واختبارها على مهمة فرز clevr.

فرز clevr

يعد Sort-Of-Clevr نسخة مبسطة من Clevr. هذا يتكون من 10000 صورة و 20 سؤالًا (10 أسئلة علائقية و 10 أسئلة غير علمية) لكل صورة. يتم تعيين 6 ألوان (أحمر ، أخضر ، أزرق ، برتقالي ، رمادي ، أصفر) للشكل الذي تم اختياره عشوائيًا (مربع أو دائرة) ، ويوضع في صورة.

تتكون الأسئلة غير العلمية من 3 أنواع فرعية:

1. شكل كائن ملون معين
2. الموقع الأفقي لبعض كائن ملون: سواء كان على الجانب الأيسر من الصورة أو الجانب الأيمن من الصورة
3. الموقع العمودي لبعض كائن ملون: سواء كان ذلك على الجانب العلوي من الصورة أو الجانب السلبي للصورة

أطروحات الأسئلة "غير علمية" لأن الوكيل يحتاج فقط إلى التركيز على كائن معين.

تتكون الأسئلة العلائقية من 3 أنواع فرعية:

1. شكل الكائن الأقرب إلى كائن ملون معين
2. شكل الكائن الأبعد إلى كائن ملون معين
3. عدد الكائنات التي لها نفس الشكل مع كائن ملون معين

هذه الأسئلة "علائقية" لأن العميل يجب أن ينظر في العلاقات بين الكائنات.

يتم تشفير الأسئلة في متجه بحجم 11: 6 لمتجه واحد للحمل لبعض الألوان بين 6 ألوان ، 2 لمتجه واحد من الأسئلة العلائقية/غير العلمية. 3 لمتجه واحد من 3 أنواع فرعية.

أي ، مع عرض صورة العينة ، يمكننا إنشاء أسئلة غير علمية مثل:

1. ما هو شكل الكائن الأحمر؟ => الدائرة (على الرغم من أنها لا تبدو حقًا "دائرة" ...)
2. هل يتم وضع الكائن الأخضر على الجانب الأيسر من الصورة؟ => نعم
3. هل يتم وضع كائن برتقالي على الجانب العلوي من الصورة؟ => لا

والأسئلة العلائقية:

1. ما هو شكل الكائن الأقرب إلى الكائن الأحمر؟ => مربع
2. ما هو شكل الكائن أبعد إلى الكائن البرتقالي؟ => الدائرة
3. كم عدد الكائنات لها نفس الشكل مع الكائن الأزرق؟ => 3

يثبت

قم بإنشاء بيئة من environment.yml .

 $ conda env create -f environment.yml

تنشيط البيئة

 $ conda activate RN3

إذا كنت لا تستخدم Conda تثبيت Python 3 بشكل طبيعي واستخدم pip install لتثبيت التبعيات المتبقية. يمكن العثور على قائمة التبعيات في ملف environment.yml .

الاستخدام

 $ ./run.sh

أو

 $ python sort_of_clevr_generator.py

لإنشاء مجموعة بيانات نوع clevr و

 $ python main.py 

لتدريب نموذج RN الثنائي. بدلا من ذلك ، الاستخدام

 $ python main.py --relation-type=ternary

لتدريب نموذج RN الثلاثية.

التعديلات

في الورقة الأصلية ، استخدمت مهمة فرز clevr نموذجًا مختلفًا من مهمة CLEVR. ومع ذلك ، نظرًا لأن النموذج المستخدم CLEVR يتطلب وقتًا أقل بكثير للحساب (الشبكة أصغر بكثير) ، يتم استخدام هذا النموذج لمهمة فرز CLEVR.

نتيجة

	الشبكات العلائقية (العصر العشرين)	CNN + MLP (بدون RN ، الحقبة 100)
السؤال غير العلمي	99 ٪	66 ٪
سؤال علائقي	89 ٪	66 ٪

حدث CNN + MLP في التكلفة لبيانات التدريب.

تُظهر الشبكات العلائقية نتائج أفضل بكثير في أسئلة علائقية وأسئلة غير علمية.

مساهمات

GNGDB يسرع النموذج بمقدار 10 مرات.