Download VisualNews Repository - VisualNews Repository Código Fonte Download

VisualNews Repository

Outro código-fonte

1.0.0

Baixar

Notícias visuais: benchmark e desafios na legenda da imagem de notícias

Fuxiao Liu, Yinghan Wang, Tianlu Wang, Vicente Ordonez (EMNLP 2021)

Resumo

Propomos legendadores de notícias visuais, um modelo de consciência de entidade para a tarefa de legendas de imagens de notícias. Também introduzimos o Visual News, um benchmark em larga escala, composto por mais de um milhão de imagens de notícias, juntamente com artigos de notícias associados, legendas de imagens, informações do autor e outros metadados. Ao contrário da tarefa de legenda de imagem padrão, as imagens de notícias descrevem situações em que pessoas, locais e eventos são de suma importância. Nosso método proposto pode combinar efetivamente recursos visuais e textuais para gerar legendas com informações mais ricas, como eventos e entidades. Mais especificamente, construído sobre a arquitetura do transformador, nosso modelo está mais equipado com novas técnicas de fusão de recursos multimodais e mecanismos de atenção, projetados para gerar entidades nomeadas com mais precisão. Nosso método utiliza muito menos parâmetros e, ao mesmo tempo, alcançar resultados de previsão um pouco melhores do que os métodos concorrentes. Nosso conjunto de dados de notícias visuais maiores e mais diversificado destaca ainda mais os desafios restantes na legenda de imagens de notícias.

 @misc{liu2020visualnews,
      title={VisualNews : Benchmark and Challenges in Entity-aware Image Captioning}, 
      author={Fuxiao Liu and Yinghan Wang and Tianlu Wang and Vicente Ordonez},
      year={2020},
      eprint={2010.03743},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
}

Notícias

[03/13] Nosso artigo "MMC: Avançando o entendimento do gráfico multimodal com o ajuste de instrução LLM" é aceito na NAACL 2024 .
[02/26] Nosso artigo "HallusionBench: você vê o que pensa? Ou acha o que vê? Um benchmark de raciocínio de contexto de imagem desafiador para GPT-4V (ISion), LLAVA-1.5 e outros modelos de multi-modalidade" está aceita para CVPR 2024 .
[01/15] Nossa alucinação mitigadora de papel em grandes modelos multimodais por meio de instrução robusta é aceita pelo ICLR 2024