EEG To Text

Mise à jour importante (29/06/2024)

Le code d'origine a un bogue non intentionnel dans l'évaluation qui provoque une évaluation inexacte de la capacité réelle du modèle. Nous remercions Yiqian Yang et Hyejeong Jo, et al pour avoir repéré et étudié le problème! Veuillez lire https://arxiv.org/pdf/2405.06459 pour plus de détails.

Veuillez vous référer à https://github.com/neuspeech/eeg-to-text pour le code corrigé et les expériences détaillées. Pour éviter une nouvelle confusion, nous avons archivé ce repo.

---

Veuillez lire https://arxiv.org/pdf/2405.06459 avant de continuer!

(AAAI 2022) Vocabulaire ouvert du décodage EEG-Text et classification du sentiment zéro-shot

Créer un environnement

Exécutez conda env create -f environment.yml pour créer l'environnement conda (nommé "eegtotext") utilisé dans nos expériences.

Télécharger des ensembles de données ZUCO

• Téléchargez ZUCO V1.0 'MatLab Files' pour 'Task1-Sr', 'Task2-nr', 'Task3-tsr' de https://osf.io/q3zws/files/ sous 'ROOT' STORGAGE 'OSF'
  Unzip et déplacez tous les fichiers .mat vers ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files respectivement.
• Téléchargez ZUCO V2.0 'Matlab Files' pour 'Task1-Nr' depuis https://osf.io/2urht/files/ sous la racine 'OSF Storage', se dézip et déplacez tous ~/datasets/ZuCo/task2-NR-2.0/Matlab_files fichiers .mat

Ensembles de données de prétraitement

Exécutez bash ./scripts/prepare_dataset.sh pour prétraiter les fichiers .mat et préparer les étiquettes du sentiment.

Pour chaque tâche, tous les fichiers .mat seront convertis en un fichier .pickle stocké dans ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle .

L'ensemble de données de sentiment pour ZUCO ( sentiment_labels.json ) sera stocké dans ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json .

Ensemble de données de sentiment pour STANFORD Sentiment TreeBank sera stocké dans ~/datasets/stanfordsentiment/ternary_dataset.json

Exemple d'utilisation

Vocabulaire ouvert du décodage EEG-Text

Pour former un modèle de décodage EEG-Text, exécutez bash ./scripts/train_decoding.sh .

Pour évaluer le modèle de décodage EEG à texte formé par le haut, exécutez bash ./scripts/eval_decoding.sh .

Pour une configuration détaillée des arguments disponibles, veuillez vous référer à la fonction get_config(case = 'train_decoding') dans /config.py

Pipeline de classification du sentiment zéro-shot

Nous formons d'abord le décodeur et le classificateur individuellement, puis nous évaluons le pipeline sur les données ZUCO TASK1-SR.

Pour exécuter l'ensemble du processus de formation et d'évaluation, exécutez bash ./scripts/train_eval_zeroshot_pipeline.sh .

Pour une configuration détaillée des arguments disponibles, veuillez vous référer à la fonction get_config(case = 'eval_sentiment') dans /config.py

Citation

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}