MEAL

餐：稳定而积极的学习，以进行几次射击

我们的EMNLP 2023调查纸的代码和数据：餐（纸）。

我们的关键调查是：

1. 基于及时的微调面临与运行可变性和培训数据选择有关的主要不稳定性问题。参见上图，准确性可能从52％到78％不等。
2. 多余的列式调节和结合技术可显着提高运行变异性（请参见本文中的表1）。
3. 我们评估各种主动学习 /数据选择策略，以攻击培训数据选择的可变性。我们提出了一种新颖的策略IPUSD，该策略依赖于不同提示之间的差异。 IPUSD在准确性和差异方面都优于其他活跃的学习策略（请参见下表）。

几乎没有积极的学习 /数据选择策略

通过示例句子和两个提示情感分析，说明了我们修改的用于数据选择的主动学习管道。 PLM以零拍的方式输出多个功能。 Al根据这些输出功能选择了一些射击训练集。

结果

	ACC↑	等级证	div。 ↑	ret。 ↑	恩特。 ↓
随机的	72.6±2.8	4.0	13.6	17.6	2.0
熵	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
Bt	72.1	4.0	13.4	17.1	5.6
PP-KL（我们的）	69.1	5.6	13.4	16.9	9.0
加州	70.4	4.4	13.1	17.1	23.5
徽章	73.2±3.3	3.0	13.6	17.6	2.2
ipusd（我们）	73.9 ± 2.3	3.0	13.5	17.6	2.0

我们提出的数据选择策略IPUSD几乎没有弹出，从而提高了更高的准确性，同时提出了RTE，SST-2，SST-5，TREC和MRPC的差异较低。我们表明，诸如随机或最高熵之类的启发式方法会导致性能较低。

查看数据集文件夹中不同主动学习策略（包括未标记和评估数据拆分）的数据拆分。

引用

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}