COPEN

Copen

Dataset dan Kode untuk EMNLP 2022 Paper '' Copen: Probing Conceptual Lewnelle dalam Model Bahasa Pra-Terlatih ''. Copen adalah tolok ukur porobing pengetahuan konseptual yang bertujuan untuk menganalisis kemampuan pemahaman konseptual model bahasa pra-terlatih (PLM). Secara khusus, Copen terdiri dari tiga tugas:

• Penilaian Kesamaan Konseptual (CSJ). Diberikan entitas kueri dan beberapa entitas kandidat, tugas CSJ ​​mengharuskan untuk memilih entitas kandidat yang paling serupa dengan entitas kueri.
• Penilaian properti konseptual (CPJ). Diberi pernyataan yang menggambarkan properti konsep, PLM perlu menilai apakah pernyataan itu benar.
• Konseptualisasi dalam konteks (CIC). Diberi kalimat, suatu entitas yang disebutkan dalam kalimat, dan beberapa rantai konsep entitas, PLM perlu memilih konsep yang paling tepat sesuai dengan konteks entitas.

Eksperimen ekstensif pada berbagai ukuran dan jenis PLM menunjukkan bahwa PLM yang ada secara sistematis tidak memiliki pengetahuan konseptual dan menderita berbagai korelasi palsu. Kami percaya ini adalah hambatan kritis untuk mewujudkan kognisi seperti manusia di PLM. Tujuan atau arsitektur yang lebih sadar konsep diperlukan untuk mengembangkan PLM yang berpengetahuan konseptual.

Codalab

Untuk mendapatkan hasil tes, Anda perlu mengirimkan hasil Anda ke Codalab.

1. Mulai Cepat

Repositori kode didasarkan pada Pytorch dan Transformers . Harap gunakan perintah berikut untuk menginstal semua dependen yang diperlukan. pip install -r requirements.txt

2. Unduh set data

Benchmark Copen ditempatkan di Tsinghua Cloud, silakan gunakan perintah berikut untuk mengunduh set data dan menempatkannya di jalur propor.

 cd data/
wget --content-disposition https://cloud.tsinghua.edu.cn/f/f0b33fb429fa4575aa7f/ ? dl=1
unzip copen_data.zip
mkdir task1/data
mkdir task2/data
mkdir task3/data
mv copen_data/task1/ * task1/data
mv copen_data/task2/ * task2/data
mv copen_data/task3/ * task3/data 

3. Dataset pra-pemrosesan

Menyelidik

 cd task1
python probing_data_processor.py
cd ../
cd task2
python probing_data_processor.py
cd ../
cd task3
python probing_data_processor.py
cd ../

Fine-tuning

python processor_utils.py task1 mc 
python processor_utils.py task2 sc
python processor_utils.py task3 mc 

4. Jalankan

Menyelidik

 cd code/probing
bash task1/run.sh 0 bert bert-base-uncased
bash task2/run.sh 0 bert bert-base-uncased
bash task3/run.sh 0 bert bert-base-uncased

Fine-tuning

 cd code/finetuning
cd task1/ 
bash ../run.sh 0 bert bert-base-uncased task1 mc 42
cd task2/ 
bash ../run.sh 0 bert bert-base-uncased task2 sc 42
cd task3/ 
bash ../run.sh 0 bert bert-base-uncased task3 mc 42

5. CITE

Jika kode atau benchmark kami membantu Anda, silakan kutip kami:

 @inproceedings{peng2022copen,
  title={COPEN: Probing Conceptual Knowledge in Pre-trained Language Models},
  author={Peng, Hao and Wang, Xiaozhi and Hu, Shengding and Jin, Hailong and Hou, Lei and Li, Juanzi and Liu, Zhiyuan and Liu, Qun},
  booktitle={Proceedings of EMNLP},
  year={2022}
}