الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

mkg_analogy

الكود ومجموعات البيانات لورقة ICLR2023 "التفكير التناظري متعدد الوسائط على الرسوم البيانية المعرفة"

  • ❗new: نحن نقدم عرضًا تجريبيًا على https://huggingface.co/spaces/zjunlp/mkg_analogy ، استمتع!
  • ❗new: لقد أصدرنا نقاط التفتيش في Google Drive للاستنساخ.
  • ❗new: لقد أصدرنا PowerPoint في ICLR2023_MKG_ANALOGY.PDF.

روابط سريعة

  • mkg_analogy
    • ملخص
    • متطلبات
    • إعداد البيانات
    • تقييم على القياس الميهود
      • طرق تمثيل المعرفة متعددة الوسائط
      • الأساليب القائمة على المحولات
    • اقتباس

ملخص

في هذا العمل ، نقترح مهمة جديدة من التفكير التناظري متعدد الوسائط على الرسم البياني للمعرفة. يمكن رؤية نظرة عامة على مهمة التفكير التناظرية متعددة الوسائط على النحو التالي:

نحن نقدم رسمًا بيانيًا للمعرفة لدعم المهمة وتقسيمها إلى أنماط واحدة ومخلوطة. لاحظ أن العلاقة التي تتميز بسهام متقطعة ( $ dashRightarrow $ ) والنص حول الأقواس تحت الصور هو فقط للشرح ولا يتم توفيره في المدخلات.

متطلبات 

 pip install -r requirements.txt

جمع البيانات والمعالجة المسبقة

لدعم مهمة التفكير التناظرية متعددة الوسائط ، نجمع مجموعة بيانات الرسم البياني متعدد الوسائط و mars مجموعة بيانات التفكير التناظرية متعددة الوسائط. مخطط مرئي لجمع البيانات كما هو موضح في الشكل التالي:

نجمع مجموعات البيانات التالية أدناه:

  1. جمع كيانات القياس والعلاقات
  2. ارتباط بـ Wikidata واسترداد الجيران
  3. الحصول على الصور والتحقق منها
  4. عينة من بيانات التفكير التناظرية

يتم عرض إحصائيات مجموعتي البيانات في الأرقام التالية:

نضع البيانات النصية ضمن MarT/dataset/ ، ويمكن تنزيل بيانات الصورة من خلال محرك Google أو Baidu Pan (Terabox) (الكود: 7HOC) ووضعها على MarT/dataset/MARS/images . يرجى الرجوع إلى Mart للحصول على التفاصيل.

الهيكل المتوقع للملفات هو: 

 MKG_Analogy
 |-- M-KGE	# multimodal knowledge representation methods
 |    |-- IKRL_TransAE   
 |    |-- RSME
 |-- MarT
 |    |-- data          # data process functions
 |    |-- dataset
 |    |    |-- MarKG    # knowledge graph data
 |    |    |-- MARS     # analogical reasoning data
 |    |-- lit_models    # pytorch_lightning models
 |    |-- models        # source code of models
 |    |-- scripts       # running scripts
 |    |-- tools         # tool function
 |    |-- main.py       # main function
 |-- resources   # image resources
 |-- requirements.txt
 |-- README.md

تقييم على القياس الميهود

نختار بعض الطرق الأساسية لإنشاء النتائج القياسية الأولية على المريخ ، بما في ذلك أساليب تمثيل المعرفة متعددة الوسائط (IKRL ، Transae ، RSME) ، نماذج ذاتية الرؤية التي تم تدريبها مسبقًا (Visualbert ، Vilbert ، Vilt ، Flava) وطريقة إكمال الرسم البياني المتعدد المعرفة (MKGFormer).

بالإضافة إلى ذلك ، نتبع نظرية رسم الخرائط الهيكل لاعتبار حث مجموعة العمل الوظيفي كخطوات صريحة لخط انبوذي لأساليب تمثيل المعرفة متعددة الوسائط. بالنسبة للطرق القائمة على المحولات ، نقترح كذلك MART ، وهو إطار جديد يجمع ضمنيًا بين هذه الخطوات الثلاث لإنجاز مهمة التفكير التناظرية متعددة الوسائط من طرف إلى طرف ، والتي يمكن أن تتجنب انتشار الخطأ أثناء التفكير التماثلي. يمكن رؤية نظرة عامة على طرق خط الأساس في الشكل أعلاه.

طرق تمثيل المعرفة متعددة الوسائط

1. ikrl

نؤدي إلى إنتاج نماذج IKRL عبر إطار عمل Transae ، لتقييم IKRL ، تشغيل الكود التالي: 

 cd M-KGE/IKRL_TransAE
python IKRL.py

يمكنك اختيار ما قبل التدريب/التثبيت والتشبيه/القياس عن طريق تعديل معلمات finetune analogy في IKRL.py ، على التوالي.

2. Transae

للتقييم على IKRL ، تشغيل الكود التالي: 

 cd M-KGE/IKRL_TransAE
python TransAE.py

يمكنك اختيار ما قبل التدريب/التغلب والتشبيه/القياس عن طريق تعديل معلمات finetune analogy في TransAE.py ، على التوالي.

3. RSME

نحن نقدم فقط جزء من بيانات RSME. لتقييم RSME ، تحتاج إلى إنشاء البيانات الكاملة عن طريق اتباع البرامج النصية: 

 cd M-KGE/RSME
python image_encoder.py  # -> analogy_vit_best_img_vec.pickle
python utils.py          # -> img_vec_id_analogy_vit.pickle

أولاً ، قبل تدريب النماذج على Markg: 

bash run.sh

ثم قم بتعديل --checkpoint -تحقق من النماذج على المريخ: 

bash run_finetune.sh

يمكن أن تشير المزيد من تفاصيل التدريب حول النماذج أعلاه إلى مستودعاتها الخارجية.

الأساليب القائمة على المحولات

نحن نستفيد من إطار عمل Mart للنماذج القائمة على المحولات. يحتوي Mart على خطوتين: ما قبل التدريب وضيفه.

لتدريب النماذج بسرعة ، نقوم بتشفير بيانات الصورة مقدمًا مع هذا البرنامج النصي (لاحظ أن حجم البيانات المشفرة حوالي 7 جيجابايت): 

 cd MarT
python tools/encode_images_data.py

أخذ mkgformer كمثال ، أولا قبل تدريب النموذج عبر البرنامج النصي التالي: 

bash scripts/run_pretrain_mkgformer.sh

بعد التدريب المسبق ، قم بضبط النموذج عبر البرنامج النصي التالي: 

bash scripts/run_finetune_mkgformer.sh

؟ نحن نقدم أفضل نقاط التفتيش للنماذج القائمة على المحولات أثناء عبارات التثبيت والتدريب المسبق في محرك Google هذا. قم بتنزيلها وأضف --only_test في scripts/run_finetune_xxx.sh لاختبار التجارب.

اقتباس

إذا كنت تستخدم أو تمديد عملنا ، فيرجى الاستشهاد بالورقة على النحو التالي: 

 @inproceedings {
zhang2023multimodal,
title = { Multimodal Analogical Reasoning over Knowledge Graphs } ,
author = { Ningyu Zhang and Lei Li and Xiang Chen and Xiaozhuan Liang and Shumin Deng and Huajun Chen } ,
booktitle = { The Eleventh International Conference on Learning Representations } ,
year = { 2023 } ,
url = { https://openreview.net/forum?id=NRHajbzg8y0P }
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل