EEG To Text

Важное обновление (29.06.2024)

Первоначальный код имеет невидимную ошибку в оценке, которая вызывает неточную оценку истинной возможности модели. Мы благодарим Икяна Ян и Хежён Дж. И. и др. За то, что они обнаружили и расследовали проблему! Пожалуйста, прочитайте https://arxiv.org/pdf/2405.06459 для получения более подробной информации.

Пожалуйста, обратитесь к https://github.com/neuspeech/eeg-to-text для исправленного кода и подробных экспериментов. Чтобы избежать дальнейшей путаницы, мы заархивировали это репо.

---

Пожалуйста, прочитайте https://arxiv.org/pdf/2405.06459, прежде чем продолжить!

(AAAI 2022) Открыть словарь EEG-TO-TEXT ДеКОДИРОВАНИЕ И КЛАССИФИКАЦИЯ НЕОРОЖКА

Создать среду

Запустите conda env create -f environment.yml для создания среды Conda (названная «eegtotext»), используемая в наших экспериментах.

Скачать наборы данных ZUCO

• Загрузите Zuco v1.0 'Matlab Files' для 'task1-sr', 'task2-nr', 'task3-tsr' из https://osf.io/q3zws/files/ под 'rate storage' root, root,
  Разируйте и перемещайте все файлы .mat в ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files соответственно.
• Загрузите Zuco v2.0 'Matlab Files' для 'task1-nr' из https://osf.io/2urht/files/ в разделе «rate 'storage' root, unzip и переместите все файлы .mat в ~/datasets/ZuCo/task2-NR-2.0/Matlab_files .

Наборы данных препроцесса

Запустите bash ./scripts/prepare_dataset.sh к предварительному обработке .mat Files и подготовьте метки настроений.

Для каждой задачи все файлы .mat будут преобразованы в один файл .pickle хранящийся в ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle .

Набор данных настроений для Zuco ( sentiment_labels.json ) будет храниться в ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json .

Набор данных настроений для фильтрованных Стэнфордских настроений TreeBank будет храниться в ~/datasets/stanfordsentiment/ternary_dataset.json

Пример использования

Открыть словарь EEG-TO-TEXT Декодирование

Чтобы обучить модель декодирования ЭЭГ-текста, запустите bash ./scripts/train_decoding.sh .

Чтобы оценить обученную модель декодирования ЭЭГ-текста свыше, запустите bash ./scripts/eval_decoding.sh .

Для получения подробной конфигурации доступных аргументов, пожалуйста, см. Функцию get_config(case = 'train_decoding') в /config.py

Трубопровод классификации с нулевым выстрелом

Сначала мы тренируем декодер и классификатор индивидуально, а затем оцениваем трубопровод по данным Zuco Task1-SR.

Чтобы запустить весь процесс обучения и оценки, запустите bash ./scripts/train_eval_zeroshot_pipeline.sh .

Для получения подробной конфигурации доступных аргументов, пожалуйста, обратитесь к функции get_config(case = 'eval_sentiment') в /config.py

Цитирование

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}