ELLEN скачать - скачать исходный код ELLEN

ELLEN

AI Исходный код

1.0.0

Скачать

Эллен: Extremely Listly Supersed Learning для получения признания предприятия объекта

Харис Риаз ^{1 †} , Разван Думитру ¹ , Михай Сурдеану ¹

¹ Университет Аризоны ^* ^† Автор -корреспондент

Введение

В этой работе мы пересматриваем проблему полупрозрачного распознавания сущности (NER), сосредоточенной на чрезвычайно легком контроле, состоящем из лексикона, содержащего только 10 примеров на класс. Мы вводим Ellen, простой, полностью модульный, нейро-символический метод, который сочетает в себе модели с тонко настроенными языками с лингвистическими правилами. Эти правила включают в себя понимание, такие как «одно смысл на дискурс», используя модель в масках в качестве неконтролируемого NER, используя части тегов части речи для выявления и устранения немелочных сущностей как ложных негативов и других интуиций о показателях доверия классификаторов в локальном и глобальном контексте. Эллен обеспечивает очень сильную производительность в наборе данных Conll-2003 при использовании минимального наблюдения от лексикона выше. Он также превосходит наиболее существующие (и значительно более сложные) полуоттрагиваемые методы NER в тех же условиях надзора, обычно используемых в литературе (то есть 5% учебных данных). Кроме того, мы оцениваем нашу модель Conll-2003 в сценарии с нулевым выстрелом на WNUT-17, где мы находим, что она превосходит GPT-3.5 и достигает сопоставимой производительности с GPT-4. В обстановке с нулевым выстрелом Эллен также достигает более 75% производительности сильной, полностью контролируемой модели, обученной данным золота.

Код (скоро!)

Код готового камеры будет выпущен в ближайшее время.

Результаты

Экстремальный свет (1%) Надзор:

Точность	Отзывать	F1
74,63%	79,26%	76,87%

5% Надзор:

Ellen † превосходит более сложные методы, такие как PU-обучение и вариационные последовательные этикетки (VSL-GGIER) при использовании 5% данных в качестве надзора.

Методы	П	Ведущий	F1
VSL-Gg-Hier	84,13%	82,64%	83,38%
MT + шум	83,74%	81,49%	82,60%
Полу-лада	86,93%	85,74%	86,33%
Объединенный Провод	89,88%	85,98%	87,68%
PU-обучение	85,79%	81,03%	83,34%
ЭЛЛЕН†	81,88%	88,01%	84,87%

Zero-Shot (WNUT-17)

Метод	Лок	Разное	Орг	Перемещение	Ав
T-Mner	64,21%	42,04%	42,98%	66,11%	55,11%
GPT-3.5	49,17%	8,06%	29,71%	59,84%	39,96%
GPT-4	58,70%	25,40%	38,05%	56,87%	43,72%
Эллен+	44,82%	6,21%	26,49%	67,00%	41,56%

Полностью неконтролируемый NER с моделью в масках (MLM)

Мы вводим очень сильный базовый уровень для полностью неконтролируемого NER, используя менее 10 выстрелов (более 56% F1 на Conll-03 Dev!)

Тип сущности	Точность	Отзывать	F1
Общий	61,78%	51,90%	56,41%
Лок	69,72%	41,53%	52,05%
Разное	45,18%	55,15%	49,67%
Орг	44,85%	40,88%	42,77%
Перемещение	85,07%	65,02%	73,71%

Цитирование

Если вы найдете эту работу полезной, пожалуйста, рассмотрите возможность цитировать:

 @misc{riaz2024ellen,
      title={ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition}, 
      author={Haris Riaz and Razvan-Gabriel Dumitru and Mihai Surdeanu},
      year={2024},
      eprint={2403.17385},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}