CogGPT

[EMNLP 2024] COGGPT: Lifèrent le pouvoir de la dynamique cognitive sur les modèles de gros langues

Anglais | 中文

Code et données pour l'article "COGGPT: déchaîner la puissance de la dynamique cognitive sur les modèles de grande langue".

Cogbench

Cogbench est une référence bilingue spécialement conçue pour évaluer la dynamique cognitive des modèles de grande langue (LLM) en chinois et en anglais. Cogbench est divisé en deux parties en fonction du type de flux d'informations: Cogbench _A pour les articles et Cogbench _V pour les vidéos courtes.

Dans cette référence, un LLM et un humain se voient attribuer le même profil initial et reçoivent des flux d'informations identiques sur 10 itérations. Après chaque itération, ils sont tenus de remplir le même questionnaire cognitif. Ce questionnaire, en utilisant une échelle de Likert à cinq points, permet aux participants d'exprimer leurs attitudes envers les questions actuelles.

Cogbench vise à évaluer l'alignement cognitif entre le LLM et l'humain. Les mesures d'évaluation comprennent:

1. Authenticité : mesure la cohérence des cotes entre le LLM et l'humain.
2. Rationalité : évalue le raisonnement fourni par le LLM.

Cogpt

COGGPT est un agent axé sur le LLM, conçu pour présenter la dynamique cognitive des LLM. Confronté à des flux d'informations en constante évolution, COGGPT met régulièrement à jour son profil et stocke méthodiquement les connaissances préférées dans sa mémoire à long terme. Cette capacité unique permet à COGGPT de maintenir la dynamique cognitive spécifique au rôle, facilitant l'apprentissage tout au long de la vie.

Nouvelles

• 2024.01.17 - Document publié.
• 2024.01.12 - Cogbench Sorti.
• 2024.01.05 - Projet initialement publié.

Guide de l'utilisateur

Installation

Suivez ces étapes pour construire Cogbench:

1. Clone le référentiel : clone ce référentiel dans votre environnement local.
2. Répertoire de commutation : utilisez la commande cd pour saisir le répertoire du référentiel.
3. Téléchargez les données : téléchargez le Cogbench et enregistrez-les dans le répertoire dataset .
4. Exécutez des expériences : implémentez votre méthode à l'aide de cogbench_a.json et cogbench_v.json pour Cogbench _A et Cogbench _V , respectivement, et enregistrez vos résultats expérimentaux.
5. Résultats de l'évaluation : Remplissez les fichiers eval_cogbench_a.json et eval_cogbench_v.json avec vos résultats expérimentaux pour les évaluations.

Utilisation de Coggpt

1. Déclarer les variables d'environnement pour utiliser l'API GPT-4:

 export OPENAI_API_KEY=sk-xxxxx

2. Exécutez Coggpt avec les paramètres par défaut:

python coggpt/agent.py

Évaluation

Pour évaluer votre méthode en fonction des mesures d'authenticité et de rationalité, nous vous recommandons d'exécuter les commandes suivantes:

python evaluation.py --file_path < YOUR_FILE_PATH > --method < YOUR_METHOD_NAME > --authenticity --rationality

Par exemple, pour évaluer la méthode CoT sur Cogbench _V , exécuter:

python evaluation.py --file_path dataset/english/eval_cogbench_v.json --method CoT --authenticity --rationality

Les scores d'évaluation seront affichés comme suit:

======= CoT Authenticity =======
Average authenticity: 0.15277666156947955
5th iteration authenticity: 0.3023255813953488
10th iteration authenticity: 0.13135593220338992
======= CoT Rationality =======
Average rationality: 3.058333333333333
5th iteration rationality: 3.7666666666666666
10th iteration rationality: 3.0833333333333335

Veuillez vous référer à Cogbench pour plus de détails.

Citation

 @misc{lv2024coggpt,
      title={CogGPT: Unleashing the Power of Cognitive Dynamics on Large Language Models}, 
      author={Yaojia Lv and Haojie Pan and Ruiji Fu and Ming Liu and Zhongyuan Wang and Bing Qin},
      year={2024},
      eprint={2401.08438},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}