MEAL

Repas: apprentissage stable et actif pour invitation à quelques coups

Le code et les données de notre papier de découvertes EMNLP 2023: repas (papier).

Nos entrées de clés sont:

1. Le réglage fin basé sur une base est confronté à des problèmes d'instabilité majeurs liés à la variabilité des exécutions et à la sélection des données de formation . Voir le chiffre ci-dessus, la précision peut varier de 52% à 78% .
2. Les techniques de financement et d'ensemble multipromppt améliorent considérablement la variabilité de l'exécution (voir le tableau 1 dans le papier).
3. Nous évaluons diverses stratégies actif-apprentissage / sélection des données pour attaquer la variabilité de la sélection des données de formation. Nous proposons une nouvelle stratégie, IPUSD, s'appuyant sur la variance entre différentes invites. L'IPUSD surpasse les autres stratégies d'apprentissage actif à la fois en termes de précision et de variance (voir le tableau ci-dessous).

Stratégies d'apprentissage actif à quelques coups / sélection de données

Notre pipeline d'apprentissage actif modifié pour la sélection des données est illustré avec un exemple de phrase et deux invites à l'analyse des sentiments. Le PLM produit plusieurs fonctionnalités d'une manière nulle. Al sélectionne un ensemble de formation à quelques coups en fonction de ces fonctionnalités de sortie.

Résultats

	ACC ↑	Rang ↓	Div. ↑	Repr. ↑	Ent. ↓
Aléatoire	72,6 ± 2,8	4.0	13.6	17.6	2.0
Entropie	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
Bt	72.1	4.0	13.4	17.1	5.6
PP-KL (le nôtre)	69.1	5.6	13.4	16.9	9.0
Cal	70.4	4.4	13.1	17.1	23.5
BADGE	73,2 ± 3,3	3.0	13.6	17.6	2.2
Ipusd (nôtre)	73,9 ± 2,3	3.0	13.5	17.6	2.0

IPUSD, notre stratégie de sélection de données proposée, pour l'incitation à quelques coups, il atteint une précision plus élevée tout en proposant une variance beaucoup plus faible entre RTE, SST-2, SST-5, TREC et MRPC. Nous montrons que l'heuristique comme l'entropie aléatoire ou la plus élevée entraînerait des performances beaucoup plus faibles.

Consultez les divisions de données pour différentes stratégies d'apprentissage actif (y compris les divisions de données non marquées et d'évaluation) dans le dossier DataSets.

Citation

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}