Cross Domain_NER

Cross-domain_ner

Cross-domain ner menggunakan pemodelan bahasa lintas domain, kode untuk kertas ACL 2019.

Perkenalan

NER adalah tugas mendasar di NLP. Karena keterbatasan sumber daya berlabel, ner lintas domain telah menjadi tugas yang menantang. Sebagian besar pekerjaan sebelumnya berkonsentrasi pada skenario yang diawasi, memanfaatkan data berlabel untuk domain sumber dan target. Kerugian dari pengaturan tersebut adalah bahwa mereka tidak dapat melatih untuk domain yang tidak memiliki data berlabel.

Kami membahas masalah ini, menggunakan LM lintas domain sebagai domain lintas jembatan untuk adaptasi domain NER. Melakukan transfer lintas-tugas dan domain silang dengan merancang jaringan generasi parameter baru.

Eksperimen pada dataset CBS Scitech News menunjukkan bahwa model kami dapat secara efektif memungkinkan adaptasi domain yang tidak diawasi, sementara juga dapat memperoleh adaptasi domain yang diawasi antara domain dengan jenis entitas yang sama sekali berbeda (yaitu berita vs biomedis).

Baseline naif model tugas tunggal ( STM dalam kertas) sebagian besar mengikuti NCRF ++.

Untuk detail lebih lanjut, silakan merujuk ke makalah kami:

Ner lintas domain menggunakan pemodelan bahasa lintas domain
Chen Jia, Xiaobo Liang dan Yue Zhang*
(* Penulis yang sesuai)
ACL 2019

Persyaratan

 Python 2 or 3 
PyTorch 0.3

Memori satu GPU harus tidak kurang dari 8GB agar sesuai dengan model.

Embeddings pretrained

Vektor kata 100-dimensi sarung tangan (mengutip dari sini ).

Dataset

Sumber-domain:

CONLL-2003 Data Ner Bahasa Inggris.

Domain target

• Tidak diawasi: CBS Scitech News (set tes) (dalam: ` unsuppervised_domain_adaptation data news_tech tech_test).
  
• Diawasi: Dataset BionLP13PC dan dataset BionLP13CG.

Data mentah LM

RETURES DOMAIN DATA RAW dirilis bersama dengan dataset CONLL-2003.
Unduh Data Domain Berita Skitech.
Reuters News Domain Raw Data Download.

Penggunaan

Memerintah

supervised_domain_adaptation , unsupervised_domain_adaptation dan combined_SDA_and_UDA dapat menggunakan perintah berikut untuk membuatnya dijalankan.

 python main.py --config train.NER.config

File train.NER.config berisi jalur dataset dan model hyperparameters mengikuti NCRF ++.

Format input

• Kami merekomendasikan menggunakan gaya label IBOES untuk dataset NER.
• Kami merekomendasikan menggunakan gaya input satu kalimat-per-line untuk data mentah dengan segmentasi kata.

Mengutip:

Jika Anda menggunakan data atau kode kami, silakan mengutip kertas kami sebagai berikut:

 @inproceedings{jia2019cross,
  title={Cross-domain ner using cross-domain language modeling},
  author={Jia, Chen and Liang, Xiaobo and Zhang, Yue},
  booktitle={Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics},
  pages={2464--2474},
  year={2019}
  organization={Association for Computational Linguistics}
}

Memperbarui

• V2. Menggabungkan skenario yang diawasi dan skenario tanpa pengawasan di combined_SDA_and_UDA .
• V1. Skenario yang diawasi sebelumnya di supervised_domain_adaptation ;
  Skenario tanpa pengawasan sebelumnya di unsupervised_domain_adaptation ;