EEG To Text

중요한 업데이트 (6/29/2024)

원래 코드에는 평가에 자격이없는 버그가있어 모델의 진정한 기능을 부정확하게 평가합니다. 우리는 Yiqian Yang과 Hyejeong Jo 등 문제를 발견하고 조사해 주셔서 감사합니다! 자세한 내용은 https://arxiv.org/pdf/2405.06459를 읽으십시오.

수정 된 코드 및 세부 실험은 https://github.com/neuspeech/eeg-to-text를 참조하십시오. 더 혼란을 피하기 위해이 저장소를 보관했습니다.

---

진행하기 전에 https://arxiv.org/pdf/2405.06459를 읽으십시오!

(AAAI 2022) Open Vocabulary EEG-to-Text Decoding 및 Zero-Shot 감정 분류

환경을 만듭니다

conda env create -f environment.yml 실행하여 실험에 사용 된 콘다 환경 ( "eegtotext")을 작성하십시오.

주코 데이터 세트를 다운로드하십시오

• 'task1-sr', 'task2-nr', 'task3-tsr'에 대해 Zuco v1.0 'matlab files'를 다운로드하십시오.
  모든 .mat 파일을 ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files 로 이동하십시오.
• 'OSF Storage'루트에서 https://osf.io/2urht/files/에서 'task1-nr'에 대한 Zuco v2.0 'matlab files'를 다운로드하고 모든 .mat 파일을 ~/datasets/ZuCo/task2-NR-2.0/Matlab_files 로 이동하십시오.

전처리 데이터 세트

bash ./scripts/prepare_dataset.sh preprocess .mat 파일로 실행하고 감정 레이블을 준비하십시오.

각 작업마다 모든 .mat 파일은 ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle 에 저장된 하나의 .pickle 파일로 변환됩니다.

Zuco ( sentiment_labels.json )에 대한 Sentiment 데이터 세트는 ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json 에 저장됩니다.

필터링 된 Stanford Sentiment TreeBank에 대한 감정 데이터 세트는 ~/datasets/stanfordsentiment/ternary_dataset.json 에 저장됩니다.

사용 예제

어휘 뇌관-텍스트 디코딩을 열어줍니다

EEG-to-text 디코딩 모델을 훈련 시키려면 bash ./scripts/train_decoding.sh 실행하십시오.

위에서 훈련 된 EEG-to-Text 디코딩 모델을 평가하려면 bash ./scripts/eval_decoding.sh 실행하십시오.

사용 가능한 인수에 대한 자세한 구성은 /config.py 에서 get_config(case = 'train_decoding') 함수를 참조하십시오.

제로 샷 감정 분류 파이프 라인

먼저 디코더와 분류기를 개별적으로 훈련 한 다음 Zuco Task1-Sr 데이터의 파이프 라인을 평가합니다.

전체 교육 및 평가 프로세스를 실행하려면 bash ./scripts/train_eval_zeroshot_pipeline.sh 실행하십시오.

사용 가능한 인수에 대한 자세한 구성은 /config.py 에서 get_config(case = 'eval_sentiment') 함수를 참조하십시오.

소환

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}