MEAL

식사 : 소수의 샷 프롬프트를위한 ​​안정적이고 적극적인 학습

EMNLP 2023 결과 논문 : 식사 (종이)에 대한 코드 및 데이터.

우리의 키 찾기는 다음과 같습니다.

1. 프롬프트 기반의 미세 조정은 실행 변동성 및 교육 데이터 선택 과 관련된 주요 불안정 문제에 직면합니다. 위의 그림을 참조하십시오. 정확도는 52%에서 78%로 다를 수 있습니다.
2. Multiprompt Finetuning 및 Ensembling 기술은 실행 변동성을 크게 향상시킵니다 (논문의 표 1 참조).
3. 우리는 교육 데이터 선택의 변동성을 공격하기위한 다양한 능동 학습 / 데이터 선택 전략을 평가합니다. 우리는 다른 프롬프트 간의 차이에 의존하는 새로운 전략 인 IPUSD를 제안합니다. IPUSD는 정확성과 분산 측면에서 다른 활성 학습 전략을 능가합니다 (아래 표 참조).

소수의 능동적 학습 / 데이터 선택 전략

데이터 선택을위한 우리의 수정 된 활성 학습 파이프 라인은 예제 문장과 감정 분석을위한 두 가지 프롬프트와 함께 설명됩니다. PLM은 몇 가지 기능을 제로 샷 방식으로 출력합니다. AL은 이러한 출력 기능을 기반으로 몇 샷 교육 세트를 선택합니다.

결과

	ACC ↑	랭크 ↓	div. ↑	repr. ↑	ent. ↓
무작위의	72.6 ± 2.8	4.0	13.6	17.6	2.0
엔트로피	70.9	6.4	13.3	16.9	6.1
LC	70.9	5.6	13.5	17.2	5.3
BT	72.1	4.0	13.4	17.1	5.6
PP-KL (우리)	69.1	5.6	13.4	16.9	9.0
칼	70.4	4.4	13.1	17.1	23.5
배지	73.2 ± 3.3	3.0	13.6	17.6	2.2
ipusd (우리)	73.9 ± 2.3	3.0	13.5	17.6	2.0

우리의 제안 된 데이터 선택 전략 인 IPUSD는 소수의 샷 프롬프트를위한 ​​더 높은 정확도를 달성하면서 RTE, SST-2, SST-5, TREC 및 MRPC에서 훨씬 더 낮은 분산을 제안합니다. 우리는 임의 또는 최고 엔트로피와 같은 휴리스틱이 성능을 훨씬 낮게 이끌어 낼 것임을 보여줍니다.

데이터 세트 폴더의 다양한 활성 학습 전략 (표지 및 평가 데이터 분할 포함)에 대한 데이터 스플릿을 확인하십시오.

소환

 @inproceedings{koksal-etal-2023-meal,
    title = "{MEAL}: Stable and Active Learning for Few-Shot Prompting",
    author = {K{"o}ksal, Abdullatif  and
      Schick, Timo  and
      Schuetze, Hinrich},
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.36",
    doi = "10.18653/v1/2023.findings-emnlp.36",
    pages = "506--517"
}