MEAL

الوجبة: التعلم المستقر والنشط لعدد قليل من الطلقات

الكود والبيانات الخاصة بنتائج EMNLP 2023 لدينا ورقة: وجبة (ورقة).

مواد الإشارات الرئيسية لدينا هي:

1. يواجه الضبط الدقيق المستند إلى القضايا القائمة على عدم الاستقرار المتعلقة بتشغيل التباين واختيار بيانات التدريب . انظر الشكل أعلاه ، قد تختلف الدقة من 52 ٪ إلى 78 ٪ .
2. تحسن تقنيات التعيين والتقنيات المتعددة بشكل كبير (انظر الجدول 1 في الورقة).
3. نقوم بتقييم مختلف استراتيجيات اختيار البيانات النشطة / البيانات لمهاجمة تقلبات اختيار بيانات التدريب. نقترح استراتيجية جديدة ، IPUSD ، والاعتماد على التباين عبر مطالبات مختلفة. يتفوق IPUSD على استراتيجيات التعلم النشط الأخرى من حيث الدقة والتباين (انظر الجدول أدناه).

القليل من استراتيجيات التعلم النشط / اختيار البيانات

يتم توضيح خط أنابيب التعلم النشط المعدل لاختيار البيانات مع جملة مثال ومطالبات لتحليل المشاعر. يقوم PLM بإخراج عدة ميزات بطريقة صفرية. يختار Al مجموعة تدريب قليلة من الطلقات بناءً على ميزات الإخراج هذه.

نتائج

	acc ↑	رتبة ↓	ديف. ↑	repr. ↑	ent. ↓
عشوائي	72.6 ± 2.8	4.0	13.6	17.6	2.0
إنتروبيا	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
Bt	72.1	4.0	13.4	17.1	5.6
PP-KL (لنا)	69.1	5.6	13.4	16.9	9.0
كال	70.4	4.4	13.1	17.1	23.5
شارة	73.2 ± 3.3	3.0	13.6	17.6	2.2
ipusd (لنا)	73.9 ± 2.3	3.0	13.5	17.6	2.0

IPUSD ، استراتيجية اختيار البيانات المقترحة لدينا ، من أجل الحصول على القليل من اللقطات تحقق دقة أعلى مع اقتراح تباين أقل بكثير عبر RTE و SST-2 و SST-5 و TREC و MRPC. نظهر أن الاستدلال مثل الانتروبيا العشوائية أو الأعلى من شأنها أن تؤدي إلى أداء أقل بكثير.

تحقق من انشقاقات البيانات للحصول على استراتيجيات التعلم النشطة المختلفة (بما في ذلك انشقاقات بيانات غير مخصصة وتقييم) في مجلد مجموعات البيانات.

اقتباس

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}