EEG To Text

Wichtiges Update (29.06.2024)

Der ursprüngliche Code hat einen unintentiellen Fehler in der Bewertung, der eine ungenaue Bewertung der tatsächlichen Fähigkeiten des Modells verursacht. Wir danken Yiqian Yang und Hyejeong Jo, et al. Bitte lesen Sie https://arxiv.org/pdf/2405.06459 für weitere Informationen.

Weitere Informationen finden Sie unter https://github.com/neuspeech/eeg-to-text für den korrigierten Code und detaillierten Experimenten. Um weitere Verwirrung zu vermeiden, archivierten wir dieses Repo.

---

Bitte lesen Sie https://arxiv.org/pdf/2405.06459, bevor Sie fortfahren!

(AAAI 2022) Offene Vokabular-EEG-to-Text-Dextkodierung und Klassifizierung von Null-Shot-Stimmungen

Umgebung schaffen

Führen Sie conda env create -f environment.yml aus, um die in unseren Experimenten verwendete Konda -Umgebung (mit dem Namen "EEGTotext") zu erstellen.

Laden Sie Zuco -Datensätze herunter

• Laden Sie ZUCO v1.0 'Matlab-Dateien' für 'Task1-sr', 'Task2-nr', 'task3-tsr' herunter
  Alle .mat Dateien in ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files entfernen.
• Laden Sie ZUCO v2.0 'Matlab-Dateien' für 'Task1-nr' von https://osf.io/2urht/files/ unter 'OSF Storage', unzip und verschieben Sie alle .mat Dateien in ~/datasets/ZuCo/task2-NR-2.0/Matlab_files .

Vorverarbeitungsdatensätze

Führen Sie bash ./scripts/prepare_dataset.sh zu .mat vor und erstellen Sie Sentiment -Labels.

Für jede Aufgabe werden alle .mat Dateien in eine .pickle Datei konvertiert, die in ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle gespeichert ist.

Sentiment-Datensatz für Zuco ( sentiment_labels.json ) wird in ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json gespeichert.

Sentiment -Datensatz für gefilterte Stanford Sentiment Treebank wird in ~/datasets/stanfordsentiment/ternary_dataset.json gespeichert

Nutzungsbeispiel

Offene Vokabular-EEG-to-Text-Dexkodierung

Um ein EEG-to-Text-Dext-Dekodierungsmodell zu trainieren, rennen Sie bash ./scripts/train_decoding.sh .

Um das ausgebildete EEG-to-Text-Dext-Dekodierungsmodell von oben zu bewerten, rennen Sie bash ./scripts/eval_decoding.sh .

Eine detaillierte Konfiguration der verfügbaren Argumente finden Sie in der Funktion get_config(case = 'train_decoding') in /config.py

Null-Shot-Stimmungsklassifizierungspipeline

Wir trainieren zuerst den Decoder und den Klassifikator einzeln und bewerten dann die Pipeline auf Zuco Task1-SR-Daten.

Um den gesamten Schulungs- und Bewertungsprozess auszuführen, führen Sie bash ./scripts/train_eval_zeroshot_pipeline.sh Führen Sie aus.

Eine detaillierte Konfiguration der verfügbaren Argumente finden Sie in der Funktion get_config(case = 'eval_sentiment') in /config.py

Zitat

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}