COPEN

Copen

Ensemble de données et code pour le papier EMNLP 2022 '' COPEN: sonder les connaissances conceptuelles dans les modèles de langue pré-formés ''. Copen est une référence en porobing de connaissance conceptuelle qui vise à analyser les capacités de compréhension conceptuelle des modèles de langage pré-formés (PLMS). Plus précisément, Copen se compose de trois tâches:

• Jugement de similitude conceptuelle (CSJ). Compte tenu d'une entité de requête et de plusieurs entités candidates, la tâche CSJ nécessite de sélectionner l'entité candidate la plus conceptuellement similaire à l'entité de requête.
• Jugement conceptuel de la propriété (CPJ). Compte tenu d'une déclaration décrivant une propriété d'un concept, les PLM doivent juger si la déclaration est vraie.
• Conceptualisation dans les contextes (CIC). Compte tenu d'une phrase, d'une entité mentionnée dans la phrase et de plusieurs chaînes conceptuelles de l'entité, les PLM doivent sélectionner le concept le plus approprié en fonction du contexte de l'entité.

Des expériences approfondies sur différentes tailles et types de PLMS montrent que les PLM existants manquent systématiquement des connaissances conceptuelles et souffrent de diverses corrélations parasites. Nous pensons qu'il s'agit d'un goulot d'étranglement critique pour réaliser la cognition humaine dans les PLM. Des objectifs ou des architectures plus conscients du concept sont nécessaires pour développer des PLM conceptuels bien informés.

Codalab

Pour obtenir les résultats des tests, vous devez soumettre vos résultats à Codalab.

1. Démarrage rapide

Le référentiel de code est basé sur Pytorch et Transformers . Veuillez utiliser la commande suivante pour installer toutes les dépendances nécessaires. pip install -r requirements.txt

2. Télécharger des ensembles de données

La référence Copen est placée sur Tsinghua Cloud, veuillez utiliser la commande suivante pour télécharger les ensembles de données et les placer dans le chemin de la propor.

 cd data/
wget --content-disposition https://cloud.tsinghua.edu.cn/f/f0b33fb429fa4575aa7f/ ? dl=1
unzip copen_data.zip
mkdir task1/data
mkdir task2/data
mkdir task3/data
mv copen_data/task1/ * task1/data
mv copen_data/task2/ * task2/data
mv copen_data/task3/ * task3/data 

3. ensembles de données de prétraitement

Sondage

 cd task1
python probing_data_processor.py
cd ../
cd task2
python probing_data_processor.py
cd ../
cd task3
python probing_data_processor.py
cd ../

Réglage fin

python processor_utils.py task1 mc 
python processor_utils.py task2 sc
python processor_utils.py task3 mc 

4. Run

Sondage

 cd code/probing
bash task1/run.sh 0 bert bert-base-uncased
bash task2/run.sh 0 bert bert-base-uncased
bash task3/run.sh 0 bert bert-base-uncased

Réglage fin

 cd code/finetuning
cd task1/ 
bash ../run.sh 0 bert bert-base-uncased task1 mc 42
cd task2/ 
bash ../run.sh 0 bert bert-base-uncased task2 sc 42
cd task3/ 
bash ../run.sh 0 bert bert-base-uncased task3 mc 42

5. Citer

Si nos codes ou nos référence vous aident, veuillez nous citer:

 @inproceedings{peng2022copen,
  title={COPEN: Probing Conceptual Knowledge in Pre-trained Language Models},
  author={Peng, Hao and Wang, Xiaozhi and Hu, Shengding and Jin, Hailong and Hou, Lei and Li, Juanzi and Liu, Zhiyuan and Liu, Qun},
  booktitle={Proceedings of EMNLP},
  year={2022}
}