VisualNews Repository

시각적 뉴스 : 뉴스 이미지 캡션의 벤치 마크 및 과제

Fuxiao Liu, Yinghan Wang, Tianlu Wang, Vicente Ordonez (EMNLP 2021)

추상적인

우리는 뉴스 이미지 캡션 작업을위한 엔티티 인식 모델 인 Visual News Captioner를 제안합니다. 또한 관련 뉴스 기사, 이미지 캡션, 저자 정보 및 기타 메타 데이터와 함께 백만 개 이상의 뉴스 이미지로 구성된 대규모 벤치 마크 인 Visual News를 소개합니다. 표준 이미지 캡션 작업과 달리 뉴스 이미지는 사람, 위치 및 이벤트가 가장 중요한 상황을 나타냅니다. 제안 된 방법은 시각적 및 텍스트 기능을 효과적으로 결합하여 캡션을 이벤트 및 엔티티와 같은 더 풍부한 정보로 생성 할 수 있습니다. 보다 구체적으로, Transformer Architecture를 기반으로 한 우리의 모델에는 새로운 멀티 모달 기능 Fusion 기술 및주의 메커니즘이 더욱 정확하게 장착되어 있으며,이 모델에는 명명 된 엔티티를보다 정확하게 생성하도록 설계되었습니다. 우리의 방법은 경쟁하는 방법보다 약간 더 나은 예측 결과를 달성하면서 훨씬 적은 매개 변수를 사용합니다. 우리의 더 크고 더 다양한 Visual News 데이터 세트는 캡션 뉴스 이미지의 나머지 과제를 강조합니다.

 @misc{liu2020visualnews,
      title={VisualNews : Benchmark and Challenges in Entity-aware Image Captioning}, 
      author={Fuxiao Liu and Yinghan Wang and Tianlu Wang and Vicente Ordonez},
      year={2020},
      eprint={2010.03743},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
}

소식

• [03/13] 우리의 논문 "MMC : LLM 명령 튜닝을 통한 다중 모드 차트 이해 발전"은 NAACL 2024 에 허용됩니다.
• [02/26] 우리의 논문 "HallusionBench : 당신은 당신이 생각하는 것을 보입니까? 아니면 당신이 보는 것을 생각 하는가? GPT-4V (ISION), LLAVA-1.5 및 기타 다중 부동산 모델에 대한 이미지 컨텍스트 추론 벤치 마크"는 CVPR 2024 에 자극됩니다.
• [01/15] 우리의 논문은 강력한 지시 튜닝을 통한 대형 멀티 모달 모델에서 환각을 완화하는 환각을 ICLR 2024 에 의해 받아들입니다.

Visualnews는 다양합니다!

데이터 얻기

• 당사의 데이터 세트는 https://www.cs.rice.edu/~vo9/visualnews/에서 사용할 수 있습니다.

데이터 전처리

• 데이터 세트에 액세스하려면이 데모를 참조하십시오

요구 사항

• Pytorch == 1.0.0
• Spacy == 2.0.11
• h5py == 2.7.0
• BS4 == 4.5.3
• jobblib == 0.12.2
• NLTK == 3.2.3
• TQDM == 4.19.5
• urllib2 == 2.7
• 거위 == 1.0.25

훈련

우리 모델의 코드는 ./model에 있습니다.

 CUDA_VISIBLE_DEVICES=0 python main.py

궁금한 점이 있으면 이메일 : [email protected]

더 많은 지침

• ppt
• 동영상

인용

우리의 종이/코드가 유용하다고 생각되면 다음을 고려하십시오.