EEG To Text

Actualización importante (29/06/2024)

El código original tiene un error no intencional en la evaluación que causa una evaluación inexacta de la verdadera capacidad del modelo. ¡Agradecemos a Yiqian Yang y Hyejeong Jo, et al por detectar e investigar el problema! Lea https://arxiv.org/pdf/2405.06459 para obtener más detalles.

Consulte https://github.com/neuspeech/eeg-toxt para el código corregido y los experimentos detallados. Para evitar más confusión, archivamos este repositorio.

---

¡Lea https://arxiv.org/pdf/2405.06459 antes de continuar!

(AAAI 2022) Vocabulario abierto EEG-to-Texting y clasificación de sentimientos de disparo cero

Crear entorno

Ejecute conda env create -f environment.yml para crear el entorno de conda (llamado "EEGTOTEXT") utilizado en nuestros experimentos.

Descargar conjuntos de datos de Zuco

• Descargue ZUCO V1.0 'MATLAB ARCHIVES' para 'tarea1-sr', 'task2-nr', 'task3-tsr' de https://osf.io/q3zws/files/ en 'OSF Storage' root,
  Descomprima y mueva todos los archivos .mat a ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files respectivamente.
• Descargue ZUCO v2.0 'MATLAB ARCHIVES' para 'tarea1-nr' desde https://osf.io/2urht/files/ en 'OSF Storage' root, Unzip y mueva todos los archivos .mat a ~/datasets/ZuCo/task2-NR-2.0/Matlab_files .

Conjuntos de datos de preprocesos

Ejecute bash ./scripts/prepare_dataset.sh a preprocess .mat archivos y prepare etiquetas de sentimiento.

Para cada tarea, todos los archivos .mat se convertirán en un archivo .pickle almacenado en ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle .

Sentiment DataSet para ZUCO ( sentiment_labels.json ) se almacenará en ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json .

Sentiment DataSet para Stanford Sentiment TreeBank filtrado se almacenará en ~/datasets/stanfordsentiment/ternary_dataset.json

Ejemplo de uso

Vocabulario abierto EEG-to-Texting Decoding

Para entrenar un modelo de decodificación de EEG-to-Text, ejecute bash ./scripts/train_decoding.sh .

Para evaluar el modelo de decodificación EEG-to-Text entrenado desde arriba, ejecute bash ./scripts/eval_decoding.sh .

Para obtener la configuración detallada de los argumentos disponibles, consulte la función get_config(case = 'train_decoding') en /config.py

Tubería de clasificación de sentimientos de disparo cero

Primero capacitamos al decodificador y al clasificador individualmente, y luego evaluamos la tubería en los datos de ZUCO Task1-SR.

Para ejecutar todo el proceso de capacitación y evaluación, ejecute bash ./scripts/train_eval_zeroshot_pipeline.sh .

Para obtener la configuración detallada de los argumentos disponibles, consulte la función get_config(case = 'eval_sentiment') in /config.py

Citación

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}