MEAL

食事：いくつかのショットプロンプトの安定したアクティブな学習

EMNLP 2023調査結果のコードとデータ：食事（紙）。

私たちのキーフィンディングは次のとおりです。

1. プロンプトベースの微調整面は、実行の変動とトレーニングデータの選択に関連する主要な不安定性の問題を表します。上の図を参照してください。精度は52％から78％まで変化する場合があります。
2. マルプロムプロームの微調整とアンサンミングテクニックは、実行の変動を大幅に改善します（論文の表1を参照）。
3. トレーニングデータ選択の変動性を攻撃するために、さまざまなアクティブラーニング /データ選択戦略を評価します。さまざまなプロンプトの分散に依存して、新しい戦略であるIPUSDを提案します。 IPUSDは、精度と分散の両方の観点から、他のアクティブ学習戦略を上回ります（下の表を参照）。

少数のアクティブ学習 /データ選択戦略

データ選択のための修正されたアクティブ学習パイプラインは、センチメント分析のための例と2つのプロンプトで示されています。 PLMは、ゼロショットの方法でいくつかの機能を出力します。 Alは、これらの出力機能に基づいていくつかのショットトレーニングセットを選択します。

結果

	ACC↑	ランク↓	div。 ↑	repr。 ↑	ent。 ↓
ランダム	72.6±2.8	4.0	13.6	17.6	2.0
エントロピ	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
bt	72.1	4.0	13.4	17.1	5.6
PP-KL（私たちのもの）	69.1	5.6	13.4	16.9	9.0
cal	70.4	4.4	13.1	17.1	23.5
バッジ	73.2±3.3	3.0	13.6	17.6	2.2
IPUSD（私たちのもの）	73.9 ± 2.3	3.0	13.5	17.6	2.0

提案されたデータ選択戦略であるIPUSDは、RTE、SST-2、SST-5、TREC、およびMRPC全体ではるかに低い分散を提案しながら、より高い精度を達成します。ランダムまたは最高のエントロピーなどのヒューリスティックがパフォーマンスがはるかに低下することを示しています。

データセットフォルダーのさまざまなアクティブ学習戦略（非標識データスプリットを含む）のデータスプリットを確認してください。

引用

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}