ELLEN 다운로드 ELLEN 소스 코드 다운로드

ELLEN

AI 소스 코드

1.0.0

다운로드

Ellen : e xtremely l hightly supervised l efficient n amed 엔티티 인식 에 대한 수입

Haris Riaz ^{1 †} , Razvan Dumitru ¹ , Mihai Surdeanu ¹

¹ 애리조나 대학 ^* ^† 해당 저자

소개

이 작업에서 우리는 수업 당 10 개의 예제 만 포함 된 어휘로 구성된 극도로 가벼운 감독에 중점을 둔 반 감독 지명 된 엔티티 인식 (NER)의 문제를 다시 방문합니다. 우리는 미세 조정 언어 모델과 언어 규칙을 혼합하는 간단하고 완전히 모듈 식 신경 상징적 방법 인 Ellen을 소개합니다. 이러한 규칙에는 "담론 당 하나의 감각"과 같은 통찰력, 마스크 언어 모델을 감독되지 않은 NER로 사용하고, 말이되지 않은 엔티티를 허위 부정으로 식별하고 제거하기 위해 부품 태그를 활용하고, 지역 및 전 세계 상황에서 분류기 신뢰 점수에 대한 기타 직관을 사용합니다. 엘렌은 위의 사전에서 최소한의 감독을 사용할 때 Conll-2003 데이터 세트에서 매우 강력한 성능을 달성합니다. 또한 문헌에서 일반적으로 사용되는 동일한 감독 설정 (예 : 교육 데이터의 5%)에서 대부분의 기존 (그리고 훨씬 더 복잡한) 반 감독 NER 방법을 능가합니다. 또한 WNUT-17의 제로 샷 시나리오에서 Conll-2003 모델을 평가하여 GPT-3.5보다 성능이 우수하고 GPT-4와 비슷한 성능을 달성합니다. 제로 샷 설정에서 Ellen은 금 데이터에 대한 교육을받은 강력하고 완전히 감독 된 모델의 성능의 75% 이상을 달성합니다.

코드 (곧 출시 예정!)

카메라 준비 코드가 곧 출시 될 예정입니다.

결과

극단적 인 빛 (1%) 감독 :

정도	상기하다	F1
74.63%	79.26%	76.87%

5% 감독 :

Ellen †는 데이터의 5%를 감독으로 사용할 때 PU- 러닝 및 변형 순차적 라벨러 (VSL-GG-HIER)와 같은보다 복잡한 방법을 능가합니다.

행동 양식	피	아르 자형	F1
VSL-GG-HIER	84.13%	82.64%	83.38%
MT + 노이즈	83.74%	81.49%	82.60%
반 라다	86.93%	85.74%	86.33%
합동 놀이	89.88%	85.98%	87.68%
푸 러닝	85.79%	81.03%	83.34%
엘렌 †	81.88%	88.01%	84.87%

제로 샷 (WNUT-17)

방법	로 로치	기타	org	당	avg
t-ner	64.21%	42.04%	42.98%	66.11%	55.11%
GPT-3.5	49.17%	8.06%	29.71%	59.84%	39.96%
GPT-4	58.70%	25.40%	38.05%	56.87%	43.72%
엘렌+	44.82%	6.21%	26.49%	67.00%	41.56%

마스크 언어 모델 (MLM)을 사용하여 완전히 감독되지 않은 NER

우리는 10- 샷 미만 (Conll-03 Dev에서 56% F1 이상!)을 사용하여 완전히 감독되지 않은 NER에 대한 매우 강력한 기준선을 소개합니다.

엔티티 유형	정도	상기하다	F1
전반적인	61.78%	51.90%	56.41%
로 로치	69.72%	41.53%	52.05%
기타	45.18%	55.15%	49.67%
org	44.85%	40.88%	42.77%
당	85.07%	65.02%	73.71%

소환

이 작업이 유용하다고 생각되면 다음을 고려하십시오.

 @misc{riaz2024ellen,
      title={ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition}, 
      author={Haris Riaz and Razvan-Gabriel Dumitru and Mihai Surdeanu},
      year={2024},
      eprint={2403.17385},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}