VisualNews Repository

ビジュアルニュース：ニュース画像キャプションのベンチマークと課題

Fuxiao Liu、Yinghan Wang、Tianlu Wang、Vicente Ordonez（EMNLP 2021）

抽象的な

News Imageキャプションのタスクに関するエンティティを意識するモデルであるVisual News Captionerを提案します。また、関連するニュース記事、画像キャプション、著者情報、その他のメタデータとともに、100万件以上のニュース画像で構成される大規模なベンチマークであるVisual Newsも紹介します。標準の画像キャプションタスクとは異なり、ニュース画像は、人、場所、イベントが最も重要な状況を示しています。提案された方法は、視覚的機能とテキスト機能を効果的に組み合わせて、イベントやエンティティなどのより豊富な情報を使用してキャプションを生成できます。より具体的には、変圧器アーキテクチャの上に構築されたこのモデルには、新しいマルチモーダル機能融合技術と注意メカニズムがさらに装備されており、名前付きエンティティをより正確に生成するように設計されています。私たちの方法は、競合する方法よりもわずかに優れた予測結果を達成しながら、はるかに少ないパラメーターを利用します。私たちのより大きく、より多様なビジュアルニュースデータセットは、ニュース画像のキャプションの残りの課題をさらに強調しています。

 @misc{liu2020visualnews,
      title={VisualNews : Benchmark and Challenges in Entity-aware Image Captioning}, 
      author={Fuxiao Liu and Yinghan Wang and Tianlu Wang and Vicente Ordonez},
      year={2020},
      eprint={2010.03743},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
}

ニュース

• [03/13]私たちの論文「MMC：LLM命令チューニングを使用したマルチモーダルチャートの理解度」は、 NAACL 2024に受け入れられています。
• [02/26]私たちの論文「Hallusionbench：あなたが思うことがわかりますか？それともあなたが見ていることを考えていますか？GPT-4V（ISION）、LLAVA-1.5、およびその他のマルチモダリティモデルに挑戦する画像コンテストの推論ベンチマーク」がCVPR 2024にアクセスされます。
• [01/15]堅牢な命令チューニングを介した大規模なマルチモーダルモデルでの幻覚を軽減する私たちの論文は、 ICLR 2024によって受け入れられています

VisualNewsは多様です！

データを取得します

• データセットはhttps://www.cs.rice.edu/~vo9/visualnews/で入手できます。

データプリプロース

• データセットにアクセスするには、このデモを参照してください

要件

• pytorch == 1.0.0
• Spacy == 2.0.11
• h5py == 2.7.0
• BS4 == 4.5.3
• joblib == 0.12.2
• NLTK == 3.2.3
• TQDM == 4.19.5
• urllib2 == 2.7
• グース== 1.0.25

トレーニング

モデルのコードは./modelです。

 CUDA_VISIBLE_DEVICES=0 python main.py

ご質問がある場合は、[email protected]にメールしてください

その他の指示

• ppt
• ビデオ

引用

私たちの論文/コードが役立つと思う場合は、引用を検討してください。