ดาวน์โหลด VisualNews Repository - VisualNews Repository ซอร์สโค้ดดาวน์โหลดดาวน์โหลด

VisualNews Repository

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

ข่าวภาพ: เกณฑ์มาตรฐานและความท้าทายในการบรรยายภาพข่าว

Fuxiao Liu, Yinghan Wang, Tianlu Wang, Vicente Ordonez (EMNLP 2021)

เชิงนามธรรม

เราเสนอ Visual News Pectioner ซึ่งเป็นรูปแบบที่ตระหนักถึงเอนทิตีสำหรับงานข่าวภาพ นอกจากนี้เรายังแนะนำ Visual News เกณฑ์มาตรฐานขนาดใหญ่ประกอบด้วยภาพข่าวมากกว่าหนึ่งล้านภาพพร้อมกับบทความข่าวที่เกี่ยวข้องคำบรรยายภาพข้อมูลผู้แต่งและข้อมูลเมตาอื่น ๆ ซึ่งแตกต่างจากงานคำบรรยายภาพมาตรฐานภาพข่าวแสดงถึงสถานการณ์ที่ผู้คนสถานที่และเหตุการณ์มีความสำคัญยิ่ง วิธีการที่เรานำเสนอสามารถรวมคุณสมบัติภาพและข้อความเพื่อสร้างคำอธิบายภาพกับข้อมูลที่สมบูรณ์ยิ่งขึ้นเช่นเหตุการณ์และเอนทิตี โดยเฉพาะอย่างยิ่งที่สร้างขึ้นบนสถาปัตยกรรมหม้อแปลงรุ่นของเราได้รับการติดตั้งเพิ่มเติมด้วยเทคนิคการหลอมรวมคุณสมบัติหลายรูปแบบและกลไกความสนใจซึ่งออกแบบมาเพื่อสร้างเอนทิตีที่มีชื่ออย่างแม่นยำมากขึ้น วิธีการของเราใช้พารามิเตอร์น้อยลงมากในขณะที่บรรลุผลการทำนายที่ดีกว่าวิธีการแข่งขันเล็กน้อย ชุดข้อมูลข่าวภาพขนาดใหญ่และหลากหลายของเราจะเน้นถึงความท้าทายที่เหลืออยู่ในภาพข่าว

 @misc{liu2020visualnews,
      title={VisualNews : Benchmark and Challenges in Entity-aware Image Captioning}, 
      author={Fuxiao Liu and Yinghan Wang and Tianlu Wang and Vicente Ordonez},
      year={2020},
      eprint={2010.03743},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
}

ข่าว

[03/13] กระดาษของเรา "MMC: การเพิ่มความเข้าใจแผนภูมิหลายรูปแบบด้วยการปรับแต่งคำสั่ง LLM" ได้รับการยอมรับจาก NAACL 2024
[02/26] กระดาษของเรา "Hallusionbench: คุณเห็นสิ่งที่คุณคิดหรือคุณคิดว่าสิ่งที่คุณเห็น? มาตรฐานการใช้เหตุผลเชิงบริบทที่ท้าทายสำหรับ GPT-4V (ision), llava-1.5 และโมเดลโมเดลหลายโมเดลอื่น ๆ "
[01/15] กระดาษของเราช่วยลดภาพหลอนในโมเดลหลายโมเดลขนาดใหญ่ผ่านการปรับแต่งการเรียนการสอนที่แข็งแกร่งได้รับการยอมรับโดย ICLR 2024