MEAL

มื้ออาหาร: การเรียนรู้ที่มั่นคงและกระตือรือร้นสำหรับการกระตุ้นการยิงไม่กี่ครั้ง

รหัสและข้อมูลสำหรับกระดาษค้นพบ EMNLP 2023 ของเรา: อาหาร (กระดาษ)

การค้นหาคีย์ของเราคือ:

1. การปรับจูนตามพรอมต์ต้องเผชิญกับปัญหาความไม่แน่นอนที่สำคัญที่เกี่ยวข้องกับ การเรียกใช้ความแปรปรวน และ การเลือกข้อมูลการฝึกอบรม ดูรูปด้านบนความแม่นยำอาจแตกต่าง จาก 52% ถึง 78%
2. Multiprompt finetuning และเทคนิคการวงดนตรีช่วยเพิ่มความแปรปรวนของการทำงานอย่างมีนัยสำคัญ (ดูตารางที่ 1 ในกระดาษ)
3. เราประเมินกลยุทธ์การเลือกการเรียนรู้ / ข้อมูลที่หลากหลายเพื่อโจมตีความแปรปรวนของการเลือกข้อมูลการฝึกอบรม เราเสนอกลยุทธ์ใหม่ IPUSD โดยอาศัยความแปรปรวนในพรอมต์ที่แตกต่างกัน IPUSD มีประสิทธิภาพสูงกว่ากลยุทธ์การเรียนรู้ที่ใช้งานอื่น ๆ ทั้งในแง่ของความแม่นยำและความแปรปรวน (ดูตารางด้านล่าง)

กลยุทธ์การเรียนรู้ / การเลือกข้อมูลที่ใช้งานอยู่ไม่กี่ครั้ง

ไปป์ไลน์การเรียนรู้ที่ใช้งานที่ได้รับการแก้ไขของเราสำหรับการเลือกข้อมูลจะแสดงด้วยตัวอย่างประโยคและการแจ้งเตือนสองครั้งสำหรับการวิเคราะห์ความเชื่อมั่น PLM ส่งออกคุณสมบัติหลายอย่างในลักษณะที่เป็นศูนย์ อัลเลือกชุดการฝึกซ้อมสองสามนัดตามคุณสมบัติเอาต์พุตเหล่านี้

ผลลัพธ์

	ACC ↑	อันดับ↓	กลุ่ม	repr.	ent.
แบบสุ่ม	72.6 ± 2.8	4.0	13.6	17.6	2.0
เอนโทรปี	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
BT	72.1	4.0	13.4	17.1	5.6
PP-KL (ของเรา)	69.1	5.6	13.4	16.9	9.0
แคล	70.4	4.4	13.1	17.1	23.5
ตราสัญลักษณ์	73.2 ± 3.3	3.0	13.6	17.6	2.2
IPUSD (ของเรา)	73.9 ± 2.3	3.0	13.5	17.6	2.0

IPUSD กลยุทธ์การเลือกข้อมูลที่เราเสนอสำหรับการกระตุ้นการยิงไม่กี่ครั้งนั้นมีความแม่นยำสูงขึ้นในขณะที่เสนอความแปรปรวนที่ต่ำกว่ามากใน RTE, SST-2, SST-5, TREC และ MRPC เราแสดงให้เห็นว่าฮิวริสติกเช่นแบบสุ่มหรือเอนโทรปีสูงสุดจะนำไปสู่ประสิทธิภาพที่ต่ำกว่ามาก

ตรวจสอบการแยกข้อมูลสำหรับกลยุทธ์การเรียนรู้ที่ใช้งานที่แตกต่างกัน (รวมถึงการแยกข้อมูลที่ไม่มีป้ายกำกับและการประเมินผล) ในโฟลเดอร์ชุดข้อมูล

การอ้างอิง

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}