تنزيل VisualNews Repository - تنزيل رمز مصدر VisualNews Repository

VisualNews Repository

شفرة المصدر الأخرى

1.0.0

تنزيل

الأخبار المرئية: القياس والتحديات في التسمية التوضيحية لصورة الأخبار

Fuxiao Liu ، Yinghan Wang ، Tianlu Wang ، Vicente Ordonez (EMNLP 2021)

خلاصة

نقترح Captioner Visual News ، وهو نموذج مدرك للكيان لمهمة التسمية التوضيحية لصورة الأخبار. نقدم أيضًا News Visual News ، وهو معيار واسع النطاق يتكون من أكثر من مليون صورة إخبارية إلى جانب المقالات الإخبارية المرتبطة بها ، وملصقات الصور ، ومعلومات المؤلف ، وغيرها من البيانات الأولية. على عكس مهمة تسميات التسمية التوضيحية القياسية ، تصور صور الأخبار المواقف التي يكون فيها الأشخاص والمواقع والأحداث ذات أهمية قصوى. يمكن أن تجمع طريقتنا المقترحة بشكل فعال بين الميزات المرئية والنصية لإنشاء التسميات التوضيحية مع المعلومات الأكثر ثراءً مثل الأحداث والكيانات. وبشكل أكثر تحديداً ، مبني على بنية المحولات ، تم تجهيز نموذجنا بشكل أكبر بتقنيات الانصهار الجديدة متعددة الوسائط وآليات الانتباه ، والتي تم تصميمها لإنشاء كيانات مسماة بشكل أكثر دقة. تستخدم طريقتنا عددًا أقل من المعلمات مع تحقيق نتائج تنبؤ أفضل قليلاً من الأساليب المتنافسة. تبرز مجموعة بيانات الأخبار البصرية الأكبر والأكثر تنوعًا التحديات المتبقية في الصور الإخبارية للتسمية.

 @misc{liu2020visualnews,
      title={VisualNews : Benchmark and Challenges in Entity-aware Image Captioning}, 
      author={Fuxiao Liu and Yinghan Wang and Tianlu Wang and Vicente Ordonez},
      year={2020},
      eprint={2010.03743},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
}

أخبار

[03/13] تم قبول ورقة "MMC: تقدم فهم الرسم البياني متعدد الوسائط مع ضبط تعليمات LLM" في NAACL 2024 .
[02/26] ورقةنا "HallusionBench: ترى ما هو رأيك؟ أو تعتقد ما تراه؟ يتم ترحيل معايير التفكير في السياق الصور في GPT-4V (ISION) ، LLAVA-1.5 ، ونماذج أخرى متعددة الوسائط" على CVPR 2024 .
[01/15] ورقة تخفيف الهلوسة في نماذج كبيرة متعددة الوسائط عبر ضبط تعليمات قوية مقبولة بواسطة ICLR 2024