MEAL

Makanan: Pembelajaran yang stabil dan aktif untuk dorongan beberapa tembakan

Kode dan data untuk kertas EMNLP 2023 kami: Makanan (kertas).

Pencarian utama kami adalah:

1. Fine-tuning berbasis prompt menghadapi masalah ketidakstabilan utama terkait dengan menjalankan variabilitas dan pemilihan data pelatihan . Lihat gambar di atas, akurasinya dapat bervariasi dari 52% hingga 78% .
2. Teknik finetuning dan ensembling multiprompt meningkatkan variabilitas run secara signifikan (lihat Tabel 1 di koran).
3. Kami mengevaluasi berbagai strategi pembelajaran aktif / pemilihan data untuk menyerang variabilitas pemilihan data pelatihan. Kami mengusulkan strategi baru, IPUSD, mengandalkan varian di berbagai petunjuk. IPUSD mengungguli strategi pembelajaran aktif lainnya baik dalam hal akurasi dan varian (lihat tabel di bawah).

Beberapa strategi pembelajaran aktif / pemilihan data

Pipa pembelajaran aktif kami yang dimodifikasi untuk pemilihan data diilustrasikan dengan contoh kalimat dan dua petunjuk untuk analisis sentimen. PLM mengeluarkan beberapa fitur dengan cara nol-shot. AL memilih set pelatihan beberapa-shot berdasarkan fitur output ini.

Hasil

	ACC ↑	Peringkat ↓	Div. ↑	Repr. ↑	Ent. ↓
Acak	72.6 ± 2.8	4.0	13.6	17.6	2.0
Entropi	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
Bt	72.1	4.0	13.4	17.1	5.6
PP-KL (milik kami)	69.1	5.6	13.4	16.9	9.0
Cal	70.4	4.4	13.1	17.1	23.5
LENCANA	73.2 ± 3.3	3.0	13.6	17.6	2.2
Ipusd (milik kami)	73.9 ± 2.3	3.0	13.5	17.6	2.0

IPUSD, strategi pemilihan data kami yang diusulkan, untuk beberapa pengambilan tutup mencapai akurasi yang lebih tinggi sambil mengusulkan varian yang jauh lebih rendah di RTE, SST-2, SST-5, TREC, dan MRPC. Kami menunjukkan bahwa heuristik seperti entropi acak atau tertinggi akan menyebabkan kinerja yang jauh lebih rendah.

Lihatlah pemecahan data untuk berbagai strategi pembelajaran aktif (termasuk pemisahan data yang tidak berlabel dan evaluasi) di folder Dataset.

Kutipan

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}