EEG To Text

Pembaruan Penting (29/2024)

Kode asli memiliki bug yang tidak intensial dalam evaluasi yang menyebabkan penilaian yang tidak akurat dari kemampuan sebenarnya model. Kami berterima kasih kepada Yiqian Yang dan Hyejeong Jo, dkk untuk melihat dan menyelidiki masalahnya! Silakan baca https://arxiv.org/pdf/2405.06459 untuk lebih jelasnya.

Silakan merujuk ke https://github.com/neuspeech/eeg-to-text untuk kode yang dikoreksi dan eksperimen terperinci. Untuk menghindari kebingungan lebih lanjut, kami mengarsipkan repo ini.

---

Silakan baca https://arxiv.org/pdf/2405.06459 sebelum melanjutkan!

(AAAI 2022) Buka Kosakata EEG-to-Text Decoding dan Klasifikasi Sentimen Zero-Shot

Menciptakan lingkungan

Jalankan conda env create -f environment.yml untuk menciptakan lingkungan Conda (bernama "Eegtotext") yang digunakan dalam percobaan kami.

Unduh dataset ZUCO

• Unduh ZUCO V1.0 'MATLAB FILES' untuk 'Task1-sr', 'Task2-nr', 'Task3-tsr' dari https://osf.io/q3zws/files/ di bawah root 'OSF Storage',
  unzip dan pindahkan semua file .mat ke ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files .
• Unduh ZUCO V2.0 'File MATLAB' untuk 'Task1-nr' dari https://osf.io/2urht/files/ di bawah root 'OSF Storage ~/datasets/ZuCo/task2-NR-2.0/Matlab_files , unzip dan pindahkan semua file .mat

Dataset Preprocess

Jalankan bash ./scripts/prepare_dataset.sh ke preprocess .mat file dan menyiapkan label sentimen.

Untuk setiap tugas, semua file .mat akan dikonversi menjadi satu file .pickle yang disimpan di ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle .

Dataset sentimen untuk ZUCO ( sentiment_labels.json ) akan disimpan dalam ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json .

Dataset Sentimen untuk Stanford Sentiment yang disaring Treebank akan disimpan dalam ~/datasets/stanfordsentiment/ternary_dataset.json

Contoh Penggunaan

Open Vocabulary EEG-to-Text Decoding

Untuk melatih model decoding EEG-to-Text, jalankan bash ./scripts/train_decoding.sh .

Untuk mengevaluasi model decoding EEG-to-Text terlatih dari atas, jalankan bash ./scripts/eval_decoding.sh .

Untuk konfigurasi terperinci dari argumen yang tersedia, silakan merujuk ke fungsi get_config(case = 'train_decoding') di /config.py

Pipa klasifikasi sentimen zero-shot

Kami pertama-tama melatih decoder dan classifier secara individual, dan kemudian kami mengevaluasi pipa pada data ZUCO Task1-SR.

Untuk menjalankan seluruh proses pelatihan dan evaluasi, jalankan bash ./scripts/train_eval_zeroshot_pipeline.sh .

Untuk konfigurasi terperinci dari argumen yang tersedia, silakan merujuk ke fungsi get_config(case = 'eval_sentiment') di /config.py

Kutipan

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}