LM Critic

LM-Critic: modelos de lenguaje para la corrección de errores gramaticales no supervisados

Este repositorio proporciona el código fuente y los datos de nuestro documento: LM-Critic: Modelos de lenguaje para la corrección de errores gramaticales no supervisados ​​(EMNLP 2021).

 @InProceedings { yasunaga2021language ,
  author =  { Michihiro Yasunaga and Jure Leskovec and Percy Liang } ,
  title =   { LM-Critic: Language Models for Unsupervised Grammatical Error Correction } ,
  year =    { 2021 } ,  
  booktitle = { Empirical Methods in Natural Language Processing (EMNLP) } ,  
}

Descripción general

Desarrollamos un nuevo método para utilizar un modelo de lenguaje previamente pracricado (por ejemplo, GPT2) para predecir si una oración es gramatical, que llamamos LM-Critic . Puedes jugar con este LM-Critic como se describe en la Sección 1. A continuación. La idea es considerar que una oración es gramatical si el modelo de idioma le asigna una probabilidad más alta que los candidatos en su vecindario local.

Luego usamos el LM-Critic para generar datos de entrenamiento para la corrección de errores gramaticales (GEC) del texto sin procesar sin etiquetar, utilizando el algoritmo BIFI. Esto nos permite entrenar modelos GEC de manera no supervisada. Consulte la Sección 2. A continuación.

Cómo funciona LM-Critic

LM-Critic para GEC : Usamos LM-Critic para aprender modelos GEC

0. Dependencias

Ejecute los siguientes comandos para crear un entorno de conda (suponiendo CUDA10.1):

conda create -n lm-critic python=3.8
conda activate lm-critic
pip install torch==1.6.0 torchvision==0.7.0
pip install transformers==4.3.3 datasets==1.3.0 absl-py rouge-score
pip install nltk wandb editdistance spacy==3.0.5
python3 -m nltk.downloader punkt

Para usar el anotador errante para la evaluación de GEC, cree otro entorno de conda por separado, de la siguiente manera:

conda create -n errant200 python=3.6
conda activate errant200
pip3 install errant==2.0.0
python3 -m spacy download en

1. Use LM-Critic

El LM-Critic se define en critic/critic.py . Para jugar con él, puedes correr:

CUDA_VISIBLE_DEVICES=0 python3 critic/critic.py

Esto le impulsará una entrada de oración y devuelve el juicio (bueno: gramatical, malo: no gramatical) junto con el puntaje de probabilidad de la oración de entrada. Por ejemplo,

 Enter a sentence: I like apple.
Bad! Your sentence log(p) = -22.333
Neighbor sentence with highest log(p): I like apples. (= -19.570)

Enter a sentence: I like apples.
Good! Your sentence log(p) = -19.570

Para ejecutar una evaluación intrínseca de LM-Critic en un conjunto de pruebas, ejecute:

CUDA_VISIBLE_DEVICES=0 python3 eval_critic/eval_critic.py

Puede importar la función Criticica LM ( from critic.critic import gpt2_critic ) para su propio código como se hace en este script.

2. Modelos de corrección de errores gramaticales de tren/ejecución

Cambie el directorio de trabajo a gec/ . Primero, descargue todos los datos (puntos de referencia GEC y datos de capacitación) ejecutando ./download_data.sh .

Ronda 0

Aquí entrenamos un fijador inicial sobre los datos sintéticos de GEC. Ejecute los comandos en src/run-round0.sh .

• Esto corresponde a la línea de base "Transformador" en la Tabla 4.
• Los datos sintéticos originales se cargaron desde aquí, y nuestros datos procesados ​​están disponibles en data/round0__synthetic/synthetic_paired_data_9M.json

Ronda 1

Aquí usamos el algoritmo BIFI y los datos de texto sin etiquetar para entrenar un fijador mejorado. Ejecute los comandos en src/run-round1.sh .

• Específicamente, realizamos los siguientes cuatro pasos: (a) Aplicar el fijador actual (desde la ronda 0) a las oraciones no etiquetadas y mantener salidas que LM-Critices juzga como buenos; (b) entrenar un interruptor en los datos emparejados generados en el paso (a); (c) aplique el interruptor entrenado en oraciones sin etiqueta y mantenga salidas que los jueces de LM-Critic como malo; (d) Entrena el fijador en los datos emparejados generados hasta ahora (paso (a) + paso (c) + datos sintéticos de Round0).
• Esto corresponde al "+ bifi" en la tabla de papel 4.
• Los datos de texto sin etiquetar originales se descargaron de Yahoo! Responder el conjunto de datos y el conjunto de datos de revisión de Wikipedia (tomamos las oraciones previas a la revisión). Nuestros datos emparejados procesados ​​utilizados en el paso (d) están disponibles en data/round1__BIFI/BIFI_paired_data_9M.json

Para la evaluación, utilizamos Errant y M^2Scorer. Errant se configura en el entorno CondA descrito anteriormente (Errant200) y M^2Scorer se configura en el script de descarga.