EEG To Text

重要更新（6/29/2024）

原始代码在评估中具有意外错误，导致对模型的真实能力的评估不准确。我们感谢Yiqian Yang和Hyejeong Jo等人的发现和调查问题！有关更多详细信息，请阅读https://arxiv.org/pdf/2405.06459。

有关校正的代码和详细的实验，请参阅https://github.com/neuspeech/eeg-to-text。为了避免进一步的混乱，我们存档了此存储库。

---

请阅读https://arxiv.org/pdf/2405.06459在继续之前！

（AAAI 2022）开放词汇脑脑电图 - 至文本解码和零击的情感分类

创建环境

运行conda env create -f environment.yml以创建实验中使用的conda环境（名为“ eegtotext”）。

下载Zuco数据集

• 从https://osf.io/q3zws/files/下载“ task1-sr”，'task2-nr'，'task2-nr'，'task2-nr'，'task2-nr'，'task2-nr'的Zuco v1.0'matlab文件。
  解压缩并将所有.mat文件移至~/datasets/ZuCo/task1-SR/Matlab_files ， ~/datasets/ZuCo/task2-NR/Matlab_files ， ~/datasets/ZuCo/task3-TSR/Matlab_files 。
• 从https://osf.io/2urht/files/下载Zuco v2.0'matlab文件'在'osf Storage'root，unzip中，然后将所有.mat文件移至~/datasets/ZuCo/task2-NR-2.0/Matlab_files 。

预处理数据集

运行bash ./scripts/prepare_dataset.sh /prepare_dataset.sh将其运行到preprocess .mat文件并准备情感标签。

对于每个任务，所有.mat文件将被转换为一个存储在~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle中的.pickle文件。

Zuco（ sentiment_labels.json ）的情感数据集将存储在~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json中。

过滤的斯坦福情绪树木银行的情感数据集将存储在~/datasets/stanfordsentiment/ternary_dataset.json中

用法示例

开放词汇到文本解码

要训​​练脑电图解码模型，请运行bash ./scripts/train_decoding.sh 。

为了评估训练有素的脑电图对文本解码模型，请运行bash ./scripts/eval_decoding.sh 。

有关可用参数的详细配置，请参阅/config.py中的函数get_config(case = 'train_decoding')

零拍情感分类管道

我们首先分别训练解码器和分类器，然后评估PILELINE的Zuco Task1-SR数据。

要运行整个培训和评估过程，请运行bash ./scripts/train_eval_zeroshot_pipeline.sh 。

有关可用参数的详细配置，请参阅/config.py中的函数get_config(case = 'eval_sentiment')

引用

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}