Cross Domain_NER

Cross-domain_ner

NER de domínio cruzado usando modelagem de idiomas cruzados, código para papel da ACL 2019.

Introdução

NER é uma tarefa fundamental na NLP. Devido à limitação de recursos rotulados, o NER de domínio cruzado tem sido uma tarefa desafiadora. A maioria dos trabalhos anteriores se concentra no cenário supervisionado, usando dados rotulados para domínios de origem e de destino. Uma desvantagem dessa configuração é que eles não podem treinar para domínios que não possuem dados rotulados.

Abordamos esse problema, usando LM de domínio cruzado como uma ponte cruzada para a adaptação do domínio NER. Realizando transferência cruzada de tarefas e domínios cruzados, projetando uma nova rede de geração de parâmetros .

Experimentos no conjunto de dados da CBS Scitech News mostram que nosso modelo pode efetivamente permitir a adaptação do domínio não supervisionada, além de derivar a adaptação de domínio supervisionada entre domínios com tipos de entidades completamente diferentes (ou seja, notícias vs. biomédicas).

A linha de base ingênua do modelo de tarefa única ( STM em papel) seguiu principalmente o NCRF ++.

Para mais detalhes, consulte o nosso artigo:

NER de domínio cruzado usando modelagem de idiomas entre domínios
Chen Jia, Xiaobo Liang e Yue Zhang*
(* Autor correspondente)
ACL 2019

Requisitos

 Python 2 or 3 
PyTorch 0.3

A memória de uma GPU não deve ser inferior a 8 GB para ajustar o modelo.

Incorporações pré -tenhadas

Vetores de palavras de 100 dimensões da luva (cite daqui ).

Conjunto de dados

Domínio da fonte:

Conll-2003 Dados do NER Inglês.

Domínio-alvo

• Não supervisionado: CBS Scitech News (conjunto de testes) (em: ` Unsupervised_Domain_adaptation data news_tech tech_test).
  
• Supervisionado: BIONLP13PC DATASET e BIONLP13CG DATASET.

Dados brutos de LM

Retra o domínio Data RAW é liberado juntamente com o conjunto de dados CONLL-2003.
Download de dados brutos do domínio da Scitech News.
Download de dados brutos de domínio da Reuters.

Uso

Comando

supervised_domain_adaptation , unsupervised_domain_adaptation e combined_SDA_and_UDA podem usar o seguinte comando para fazê -lo executar.

 python main.py --config train.NER.config

O arquivo train.NER.config contém o caminho do conjunto de dados e os hiperparâmetros do modelo seguindo o NCRF ++.

Formato de entrada

• Recomendamos usar o estilo de etiqueta iboes para o conjunto de dados NER.
• Recomendamos usar um estilo de entrada de uma linha por linha para dados brutos com segmentação de palavras.

Citar:

Se você usar nossos dados ou código, cite nosso papel da seguinte forma:

 @inproceedings{jia2019cross,
  title={Cross-domain ner using cross-domain language modeling},
  author={Jia, Chen and Liang, Xiaobo and Zhang, Yue},
  booktitle={Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics},
  pages={2464--2474},
  year={2019}
  organization={Association for Computational Linguistics}
}

Atualizar

• V2. Combinando o cenário supervisionado e o cenário não supervisionado em combined_SDA_and_UDA .
• V1. O cenário supervisionado anterior em supervised_domain_adaptation ;
  O cenário não supervisionado anterior em unsupervised_domain_adaptation ;