LM Critic

LM-crítico: modelos de linguagem para correção de erro gramatical não supervisionado

Este repositório fornece o código-fonte e os dados do nosso artigo: LM-Critic: Modelos de idiomas para correção de erro gramatical não supervisionado (EMNLP 2021).

 @InProceedings { yasunaga2021language ,
  author =  { Michihiro Yasunaga and Jure Leskovec and Percy Liang } ,
  title =   { LM-Critic: Language Models for Unsupervised Grammatical Error Correction } ,
  year =    { 2021 } ,  
  booktitle = { Empirical Methods in Natural Language Processing (EMNLP) } ,  
}

Visão geral

Desenvolvemos um novo método para usar um modelo de idioma pré-treinado (por exemplo, GPT2) para prever se uma frase é gramatical, que chamamos de LM-crítico . Você pode brincar com este LM-crítico, conforme descrito na Seção 1. Abaixo. A idéia é considerar uma frase como gramatical se o modelo de idioma atribuir uma probabilidade mais alta do que os candidatos em seu bairro local.

Em seguida, usamos o LM-crítico para gerar dados de treinamento para correção de erro gramatical (GEC) do texto bruto não marcado, usando o algoritmo BIFI. Isso nos permite treinar modelos GEC de uma maneira não supervisionada. Consulte a Seção 2. Abaixo.

Como funciona o LM-crítico

LM-CRITIC para GEC : Usamos LM-Critic para aprender modelos GEC

0. Dependências

Execute os seguintes comandos para criar um ambiente de conda (assumindo CUDA10.1):

conda create -n lm-critic python=3.8
conda activate lm-critic
pip install torch==1.6.0 torchvision==0.7.0
pip install transformers==4.3.3 datasets==1.3.0 absl-py rouge-score
pip install nltk wandb editdistance spacy==3.0.5
python3 -m nltk.downloader punkt

Para usar o artilheiro errante para avaliação do GEC, crie outro ambiente do CONDA separadamente, como segue:

conda create -n errant200 python=3.6
conda activate errant200
pip3 install errant==2.0.0
python3 -m spacy download en

1. Use LM-crítico

O crítico de LM é definido em critic/critic.py . Para brincar com ele, você pode correr:

CUDA_VISIBLE_DEVICES=0 python3 critic/critic.py

Isso solicitará uma entrada de frase e retornará o julgamento (bom: gramatical, ruim: não gramatical) junto com a pontuação de probabilidade da sentença de entrada. Por exemplo,

 Enter a sentence: I like apple.
Bad! Your sentence log(p) = -22.333
Neighbor sentence with highest log(p): I like apples. (= -19.570)

Enter a sentence: I like apples.
Good! Your sentence log(p) = -19.570

Para executar a avaliação intrínseca do LM-crítico em uma suíte de teste, execute:

CUDA_VISIBLE_DEVICES=0 python3 eval_critic/eval_critic.py

Você pode importar a função Crítica LM ( from critic.critic import gpt2_critic ) para seu próprio código, conforme feito neste script.

2. Modelos de correção de erro gramatical de trem/corrida

Altere o diretório de trabalho para gec/ . Primeiro, faça o download de todos os dados (Benchmarks GEC e dados de treinamento) executando ./download_data.sh .

Rodada 0

Aqui treinamos um fixador inicial em dados sintéticos do GEC. Execute os comandos em src/run-round0.sh .

• Isso corresponde à linha de base "transformador" na tabela de papel 4.
• Os dados sintéticos originais foram dowloaded daqui e nossos dados processados ​​estão disponíveis em data/round0__synthetic/synthetic_paired_data_9M.json

Rodada 1

Aqui, usamos o algoritmo BIFI e os dados de texto não marcados para treinar um fixador aprimorado. Execute os comandos em src/run-round1.sh .

• Especificamente, executamos as quatro etapas a seguir: (a) Aplicar o fixador atual (da rodada 0) a frases não marcadas e manter as saídas que os juízes críticos da LM são bons; (b) treinar um disjuntor nos dados emparelhados gerados na etapa (a); (c) aplicar o disjuntor treinado em sentenças não marcadas e manter os resultados que os juízes críticos da LM são ruins; (d) Treine o fixador nos dados emparelhados gerados até agora (etapa (a) + etapa (c) + dados sintéticos da rodada0).
• Isso corresponde ao "+ bifi" na tabela de papel 4.
• Os dados originais de texto não marcados foram baixados do Yahoo! Responda a conjunto de dados do conjunto de dados e da Wikipedia DataSet (aceitamos as sentenças pré -revisão). Nossos dados emparelhados processados ​​usados ​​na etapa (d) estão disponíveis em data/round1__BIFI/BIFI_paired_data_9M.json

Para avaliação, usamos Errant e M^2Scorer. Errant é configurado no ambiente do CONDA descrito acima (errant200) e M^2Scorer está configurado no script de download.