EEG To Text

Atualização importante (29/06/2024)

O código original possui um bug inégio na avaliação que causa uma avaliação imprecisa da capacidade real do modelo. Agradecemos a Yiqian Yang e Hyejeong Jo, et al. Por avistar e investigar o problema! Leia https://arxiv.org/pdf/2405.06459 Para mais detalhes.

Consulte https://github.com/neuspeech/eeg-to-text para o código corrigido e experimentos detalhados. Para evitar mais confusão, arquivamos este repositório.

---

Leia https://arxiv.org/pdf/2405.06459 antes de prosseguir!

(AAAI 2022) Vocabulário aberto EEG-T-TEXT Decoding e Classificação de Sentimento Zero Shot

Criar ambiente

Execute conda env create -f environment.yml para criar o ambiente do CONDA (chamado "eegtotext") usado em nossos experimentos.

Faça o download dos conjuntos de dados do ZuCO

• Faça o download do Zuco v1.0 'MATLAB' para 'Task1-sr', 'Task2-nr', 'Task3-Tsr' de https://osf.io/q3zws/files/ Under 'OSF Storage' Root,
  descompacione e mova todos os arquivos .mat para ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files respectivamente.
• Faça o download do ZuCO v2.0 'MATLAB' FOR 'TASK1-NR' de https://osf.io/2urht/files/ em 'OSF Storage' raiz, descompacte e mova todos os arquivos .mat para ~/datasets/ZuCo/task2-NR-2.0/Matlab_files .

Conjuntos de dados de pré -processo

Execute bash ./scripts/prepare_dataset.sh para arquivos .mat pré -processado e preparar etiquetas de sentimentos.

Para cada tarefa, todos os arquivos .mat serão convertidos em um arquivo .pickle armazenado em ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle .

O conjunto de dados de sentimentos para zuco ( sentiment_labels.json ) será armazenado em ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json .

O conjunto de dados de sentimentos para o Stanford Sentiment Filled Sentiment Treebank será armazenado em ~/datasets/stanfordsentiment/ternary_dataset.json

Exemplo de uso

Vocabulário aberto Decodificação

Para treinar um modelo de decodificação EEG para texto, execute bash ./scripts/train_decoding.sh .

Para avaliar o modelo de decodificação de EEG para texto treinado a partir de cima, execute bash ./scripts/eval_decoding.sh .

Para configuração detalhada dos argumentos disponíveis, consulte a função get_config(case = 'train_decoding') em /config.py

Oleoduto de classificação de sentimentos zero-tiro

Primeiro, treinamos o decodificador e o classificador individualmente e, em seguida, avaliamos o pipeline nos dados do ZUCO Task1-SR.

Para executar todo o processo de treinamento e avaliação, execute bash ./scripts/train_eval_zeroshot_pipeline.sh .

Para uma configuração detalhada dos argumentos disponíveis, consulte a função get_config(case = 'eval_sentiment') em /config.py

Citação

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}