wice
1.0.0
Este repositorio contiene un conjunto de datos y código para el Wice Paper: Wikipedia (EMNLP 2023).
Autores: Ryo Kamoi, Tanya Goyal, Juan Diego Rodríguez, Greg Durrett
@inproceedings { kamoi-etal-2023-wice ,
title = " {W}i{CE}: Real-World Entailment for Claims in {W}ikipedia " ,
author = " Kamoi, Ryo and
Goyal, Tanya and
Rodriguez, Juan and
Durrett, Greg " ,
editor = " Bouamor, Houda and
Pino, Juan and
Bali, Kalika " ,
booktitle = " Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing " ,
month = dec,
year = " 2023 " ,
address = " Singapore " ,
publisher = " Association for Computational Linguistics " ,
url = " https://aclanthology.org/2023.emnlp-main.470 " ,
pages = " 7561--7583 " ,
}WICE es un conjunto de datos de implicación textual de grano fino basado en un reclamo natural y pares de evidencia extraídos de Wikipedia. Dada una oración en Wikipedia y el artículo (s) correspondiente que cita, anotamos la etiqueta de implicación, una lista de oraciones en el artículo (s) citado que respaldan la oración de reclamo y las fichas en la reclamación que no están respaldadas por el artículo ( s).
Este conjunto de datos se puede utilizar para evaluar una variedad de tareas, pero está diseñada principalmente para tres tareas: clasificación de implicación, recuperación de oraciones de evidencia y detección de tokens no respaldados.
DATA/CONTACAY_RETRIEVAL incluye el conjunto de datos WICE para la tarea de implicación y recuperación. Data/Conviachment_retrieval/Reclamación incluye datos con las reclamaciones originales y datos/Convistimiento_retrieval/Subclaim incluye datos con las reclamaciones descompuestas (anotación de grano fino mediante el uso de reclamo).
Cada subdirectorio incluye archivos JSONL para conjuntos de trenes, desarrollo y prueba. Aquí hay un ejemplo de los datos en los archivos JSONL:
{
"label" : " partially_supported " ,
"supporting_sentences" : [[ 5 , 15 ], [ 15 , 17 ]],
"claim" : " Arnold is currently the publisher and editorial director of Media Play News, one of five Hollywood trades and the only one dedicated to the home entertainment sector. " ,
"evidence" : [ list of evidence sentences ],
"meta" : { "id" : " dev02986 " , "claim_title" : " Roger Hedgecock " , "claim_section" : " Other endeavors. " , "claim_context" : [ paragraph ]}
}label : Etiqueta de implicación en { supported , partially_supported , not_supported }supporting_sentences : lista de índices de oraciones de apoyo. Todos los conjuntos proporcionados de oraciones de apoyo son válidos (en el ejemplo anterior, tanto [5, 15] como [5, 17] se anotan como conjuntos correctos de oraciones de apoyo que incluyen la misma información).claim : Una sentencia de Wikipediaevidence : una lista de oraciones en el sitio web citadometaclaim_title : título de la página de Wikipedia que incluye claimclaim_section : sección que incluye claimclaim_context : oraciones justo antes de claim Data/non_supported_tokens incluye el conjunto de datos WICE para la tarea de detección de tokens no soportadas. Solo proporcionamos anotación para subclamos que se anotan como partially_supported . Filtramos los puntos de datos con un bajo acuerdo entre anotador (consulte el documento para más detalles).
{
"claim" : " Irene Hervey appeared in over fifty films and numerous television series. " ,
"claim_tokens" : [ " Irene " , " Hervey " , " appeared " , " in " , " over " , " fifty " , " films " , " and " , " numerous " , " television " , " series " , " . " ],
"non_supported_spans" : [ false , false , false , false , true , true , false , false , false , false , false , false ],
"evidence" : [ list of evidence sentences ],
"meta" : { "id" : " test00561-1 " , "claim_title" : " Irene Hervey " , "claim_section" : " Abstract. " , "claim_context" : " Irene Hervey was an American film, stage, and television actress. " }
}claim_tokens : lista de tokens en el reclamonon_supported_spans : Lista de bool correspondiente a claim_tokens ( true son tokens no soportados) El directorio de reclamo_split incluye indicaciones para reclamar la división, un método para descomponer las reclamaciones mediante el uso de GPT-3. Utilizamos diferentes indicaciones para diferentes conjuntos de datos en los experimentos en este trabajo, por lo que proporcionamos indicaciones para WICE, Vitaminc, PAWS y Frank (XSUM).
Cuando evalúa modelos de clasificación de implicación en WICE, a menos que su modelo pueda manejar con un contexto de entrada muy largo, debe recuperar las oraciones de evidencia de los artículos de evidencia como el primer paso. Consulte nuestro artículo para obtener posibles enfoques para evaluar modelos con longitud de entrada limitada en WICE.
Si evalúa los modelos de recuperación de evidencia, puede usar los datos en Data/Convoltment_retrieval.
Si está buscando conjuntos de datos NLI simples con evidencia corta que no requieran modelos de recuperación (como SNLI, MNLI y ANLI), puede usar nuestro conjunto de datos de recuperación de Oracle. El conjunto de datos de recuperación de Oracle simula la situación de que tiene un modelo de recuperación de evidencia perfecta. Cuando informa el resultado en estos datos de recuperación de Oracle, debe mencionar claramente que utiliza el conjunto de datos de recuperación de Oracle, no el conjunto de datos WICE original.
Proporcionamos código para reproducir nuestro experimento utilizando GPT-3.5 y GPT-4 en el conjunto de datos de recuperación de Oracle. Consulte Code_and_Resources/Code/Readme.md para obtener más detalles.
Consulte el archivo Licence.md.
