ELLEN下載 - ELLEN源代碼下載

ELLEN

Ai源碼

1.0.0

下載

艾倫：e xtremely lightly監督的收入n e fcifient n amed實體識別

Haris Riaz ^1† ， Razvan Dumitru ¹ ， Mihai Surdeanu ¹

¹亞利桑那大學^* ^†通訊作者

介紹

在這項工作中，我們重新審視了專注於極光監督的半監督命名實體識別（NER）的問題，該問題由每班只有10個示例的詞典組成。我們介紹了Ellen，這是一種簡單，完全模塊化的神經符號方法，將微調語言模型與語言規則融合在一起。這些規則包括諸如“每次話語的一種意義”，以蒙版語言模型為無監督的NER之類的見解，利用言論的一部分標籤以識別和消除無標記的實體為虛假的實體，以及其他有關本地和全球環境中分類器信心得分的直覺。當使用上面詞典的最小監督時，Ellen在CONLL-2003數據集上實現了非常強大的性能。在文獻中常用的相同監督設置下，它還優於大多數現有的（且更為複雜）的半監督NER方法（即培訓數據的5％）。此外，我們在WNUT-17上的零擊場景中評估了我們的CONLL-2003模型，我們發現它的表現優於GPT-3.5，並且與GPT-4的性能可比性可比性。在零拍攝的環境中，艾倫還達到了經過黃金數據訓練的強，完全監督模型的75％以上。

代碼（即將推出！）

相機就緒代碼將很快發布。

結果

極端照明（1％）監督：

精確	記起	F1
74.63％	79.26％	76.87％

5％的監督：

Ellen†優於更複雜的方法，例如PU-LECERNING和變化順序標記（VSL-GGG-HIER），當時使用5％的數據作為監督。

方法	p	r	F1
vsl-gg-hier	84.13％	82.64％	83.38％
MT +噪聲	83.74％	81.49％	82.60％
半拉達	86.93％	85.74％	86.33％
關節商品	89.88％	85.98％	87.68％
pu學習	85.79％	81.03％	83.34％
艾倫†	81.88％	88.01％	84.87％

零射（Wnut-17）

方法	loc	雜項	org	每	avg
T-ner	64.21％	42.04％	42.98％	66.11％	55.11％
GPT-3.5	49.17％	8.06％	29.71％	59.84％	39.96％
GPT-4	58.70％	25.40％	38.05％	56.87％	43.72％
艾倫+	44.82％	6.21％	26.49％	67.00％	41.56％

完全無監督的NER具有蒙版語言模型（MLM）

我們引入了一個非常強大的基線，用於使用少於10次的無監督NER（Conll-03 Dev上的56％F1超過56％！）

實體類型	精確	記起	F1
全面的	61.78％	51.90％	56.41％
loc	69.72％	41.53％	52.05％
雜項	45.18％	55.15％	49.67％
org	44.85％	40.88％	42.77％
每	85.07％	65.02％	73.71％

引用

如果您覺得這項工作有用，請考慮引用：

 @misc{riaz2024ellen,
      title={ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition}, 
      author={Haris Riaz and Razvan-Gabriel Dumitru and Mihai Surdeanu},
      year={2024},
      eprint={2403.17385},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}