EEG To Text

重要な更新（6/29/2024）

元のコードには、モデルの真の能力の不正確な評価を引き起こす評価には、非影響力のあるバグがあります。 Yiqian YangとHeejeong Jo、等に問題を見つけて調査してくれたことに感謝します！詳細については、https：//arxiv.org/pdf/2405.06459をお読みください。

修正されたコードと詳細な実験については、https：//github.com/neuspeech/eeg-to-textを参照してください。さらなる混乱を避けるために、このレポをアーカイブしました。

---

先に進む前にhttps://arxiv.org/pdf/2405.06459をお読みください！

（AAAI 2022）オープンボキャブラリーEEGからテキストのデコードとゼロショットセンチメント分類

環境を作成します

conda env create -f environment.ymlを実行して、実験で使用されているConda環境（「Eegtotext」という名前）を作成します。

ZUCOデータセットをダウンロードします

• https://osf.io/q3zws/files/から 'task1-sr'、 'task1-sr'、 'task3-tsr' for 'task1-sr'、 'task1-sr'、 'task3-tsr' for 'osfストレージ'ルートのZuco v1.0 'matlabファイルをダウンロードしてください。
  すべての.matファイルを~/datasets/ZuCo/task1-SR/Matlab_files 、 ~/datasets/ZuCo/task2-NR/Matlab_files 、 ~/datasets/ZuCo/task3-TSR/Matlab_filesに解凍して移動します。
• https://osf.io/2urht/files/から 'osf storage' rootの下に「task1-nr」のzuco v2.0 'matlabファイル」をダウンロードし、すべての.matファイルを~/datasets/ZuCo/task2-NR-2.0/Matlab_filesに移動します。

プリプロセスデータセット

bash ./scripts/prepare_dataset.shをpreprocess .matファイルに実行し、センチメントラベルを準備します。

各タスクについて、すべての.matファイルは~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickleに保存されている1つの.pickleファイルに変換されます。

Zuco（ sentiment_labels.json ）のセンチメントデータセットは~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.jsonに保存されます。

ろ過されたスタンフォードセンチメントツリーバンクのセンチメントデータセットは~/datasets/stanfordsentiment/ternary_dataset.jsonに保存されます

使用例

語彙からテキストのデコードを開きます

EEGからテキストのデコードモデルをトレーニングするには、 bash ./scripts/train_decoding.shを実行します。

上から訓練されたEEGからテキストのデコードモデルを評価するには、 bash ./scripts/eval_decoding.shを実行します。

利用可能な引数の詳細な構成については、function get_config(case = 'train_decoding')を参照してください/config.py

ゼロショットセンチメント分類パイプライン

最初にデコーダーと分類器を個別にトレーニングし、次にZUCO Task1-SRデータのパイプラインを評価します。

トレーニングと評価プロセス全体を実行するには、 bash ./scripts/train_eval_zeroshot_pipeline.shを実行します。

利用可能な引数の詳細な構成については、function get_config(case = 'eval_sentiment')を参照してください/config.py

引用

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}