تنزيل ELLEN - تنزيل رمز المصدر ELLEN

ELLEN

كود الذكاء الاصطناعي

1.0.0

تنزيل

إلين: e xtremely l ightly laving l for e fficient n amed contity

Haris Riaz ^{1 †} ، Razvan Dumitru ¹ ، Mihai Surdeanu ¹

¹ جامعة أريزونا ^* مؤلف ^مقابل

مقدمة

في هذا العمل ، نعيد النظر في مشكلة التعرف على الكيان المسماة (NER) شبه الخاضعة للإشراف (NER) مع التركيز على الإشراف الخفيف للغاية ، ويتألف من معجم يحتوي على 10 أمثلة فقط لكل فصل. نقدم إلين ، وهي طريقة بسيطة ، وحدات تمامًا ، وعلم عصبي تمزج بين نماذج اللغة المضبوطة مع القواعد اللغوية. تتضمن هذه القواعد رؤى مثل "إحساس واحد لكل خطاب" ، باستخدام نموذج لغة مقنعة كإجراء NER غير خاضع للإشراف ، والاستفادة من علامات جزئية من الكلام لتحديد الكيانات غير المخصصة والقضاء عليها كسلبيات خاطئة ، وغيرها من الحدس حول درجات الثقة المصنف في السياق المحلي والعالمي. تحقق إيلين أداءً قوياً للغاية على مجموعة بيانات CONLL-2003 عند استخدام الحد الأدنى من الإشراف من المعجم أعلاه. كما أنه يتفوق على معظم أساليب NER الموجودة (وأكثر تعقيدًا إلى حد كبير) في ظل نفس إعدادات الإشراف المستخدمة عادة في الأدبيات (أي 5 ٪ من بيانات التدريب). علاوة على ذلك ، نقوم بتقييم نموذج CONLL-2003 في سيناريو صفري على WNUT-17 حيث نجد أنه يتفوق على GPT-3.5 ويحقق أداءً قابلاً للمقارنة مع GPT-4. في إعداد صفر ، تحقق إيلين أيضًا أكثر من 75 ٪ من أداء نموذج قوي ومرفوع بالكامل مدرب على بيانات الذهب.

رمز (قريبا!)

سيتم إصدار رمز جاهز الكاميرا قريبًا.

نتائج

الإشراف الشديد (1 ٪):

دقة	يتذكر	F1
74.63 ٪	79.26 ٪	76.87 ٪

إشراف 5 ٪:

يتفوق Ellen † على أساليب أكثر تعقيدًا مثل PU-Learning ومتسلسل المتسلسل (VSL-GG-HIER) عند استخدام 5 ٪ من البيانات كإشراف.

طُرق	ص	ص	F1
VSL-GG-HIER	84.13 ٪	82.64 ٪	83.38 ٪
MT + الضوضاء	83.74 ٪	81.49 ٪	82.60 ٪
نصف لادا	86.93 ٪	85.74 ٪	86.33 ٪
المفصل	89.88 ٪	85.98 ٪	87.68 ٪
تعلم بو	85.79 ٪	81.03 ٪	83.34 ٪
إلين †	81.88 ٪	88.01 ٪	84.87 ٪

صفر لقطة (wnut-17)

طريقة	لوك	متفرقات	ORG	لكل	متوسط
تي	64.21 ٪	42.04 ٪	42.98 ٪	66.11 ٪	55.11 ٪
GPT-3.5	49.17 ٪	8.06 ٪	29.71 ٪	59.84 ٪	39.96 ٪
GPT-4	58.70 ٪	25.40 ٪	38.05 ٪	56.87 ٪	43.72 ٪
إلين+	44.82 ٪	6.21 ٪	26.49 ٪	67.00 ٪	41.56 ٪

NER غير خاضع للرقابة بالكامل مع نموذج لغة مقنعة (MLM)

نقدم خطًا أساسيًا قويًا جدًا لـ NER غير الخاضع للإشراف بالكامل باستخدام أقل من 10 لقطات (أكثر من 56 ٪ F1 على CONLL-03 DEV!)

نوع الكيان	دقة	يتذكر	F1
إجمالي	61.78 ٪	51.90 ٪	56.41 ٪
لوك	69.72 ٪	41.53 ٪	52.05 ٪
متفرقات	45.18 ٪	55.15 ٪	49.67 ٪
ORG	44.85 ٪	40.88 ٪	42.77 ٪
لكل	85.07 ٪	65.02 ٪	73.71 ٪

اقتباس

إذا وجدت هذا العمل مفيدًا ، فيرجى التفكير في:

 @misc{riaz2024ellen,
      title={ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition}, 
      author={Haris Riaz and Razvan-Gabriel Dumitru and Mihai Surdeanu},
      year={2024},
      eprint={2403.17385},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}