MEAL

餐：穩定而積極的學習，以進行幾次射擊

我們的EMNLP 2023調查紙的代碼和數據：餐（紙）。

我們的關鍵調查是：

1. 基於及時的微調面臨與運行可變性和培訓數據選擇有關的主要不穩定性問題。參見上圖，準確性可能從52％到78％不等。
2. 多餘的列式調節和結合技術可顯著提高運行變異性（請參見本文中的表1）。
3. 我們評估各種主動學習 /數據選擇策略，以攻擊培訓數據選擇的可變性。我們提出了一種新穎的策略IPUSD，該策略依賴於不同提示之間的差異。 IPUSD在準確性和差異方面都優於其他活躍的學習策略（請參見下表）。

幾乎沒有積極的學習 /數據選擇策略

通過示例句子和兩個提示情感分析，說明了我們修改的用於數據選擇的主動學習管道。 PLM以零拍的方式輸出多個功能。 Al根據這些輸出功能選擇了一些射擊訓練集。

結果

	ACC↑	等級證	div。 ↑	ret。 ↑	恩特。 ↓
隨機的	72.6±2.8	4.0	13.6	17.6	2.0
熵	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
Bt	72.1	4.0	13.4	17.1	5.6
PP-KL（我們的）	69.1	5.6	13.4	16.9	9.0
加州	70.4	4.4	13.1	17.1	23.5
徽章	73.2±3.3	3.0	13.6	17.6	2.2
ipusd（我們）	73.9 ± 2.3	3.0	13.5	17.6	2.0

我們提出的數據選擇策略IPUSD幾乎沒有彈出，從而提高了更高的準確性，同時提出了RTE，SST-2，SST-5，TREC和MRPC的差異較低。我們表明，諸如隨機或最高熵之類的啟發式方法會導致性能較低。

查看數據集文件夾中不同主動學習策略（包括未標記和評估數據拆分）的數據拆分。

引用

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}