EEG To Text

การอัปเดตที่สำคัญ (6/29/2024)

รหัสต้นฉบับมีข้อผิดพลาดโดยไม่ตั้งใจในการประเมินผลที่ทำให้เกิดการประเมินความสามารถที่แท้จริงของโมเดลที่ไม่ถูกต้อง เราขอขอบคุณ Yiqian Yang และ Hyejeong Jo, et al สำหรับการพบและตรวจสอบปัญหา! โปรดอ่าน https://arxiv.org/pdf/2405.06459 สำหรับรายละเอียดเพิ่มเติม

โปรดดูที่ https://github.com/neuspeech/eeg-to-text สำหรับรหัสที่แก้ไขและการทดลองโดยละเอียด เพื่อหลีกเลี่ยงความสับสนต่อไปเราเก็บ repo นี้

---

โปรดอ่าน https://arxiv.org/pdf/2405.06459 ก่อนดำเนินการ!

(AAAI 2022) การถอดรหัสคำศัพท์ EEG-to-text และการจำแนกความเชื่อมั่นเป็นศูนย์

สร้างสภาพแวดล้อม

เรียกใช้ conda env create -f environment.yml เพื่อสร้างสภาพแวดล้อม conda (ชื่อ "eegtotext") ที่ใช้ในการทดลองของเรา

ดาวน์โหลดชุดข้อมูล ZUCO

• ดาวน์โหลด ZUCO v1.0 'ไฟล์ MATLAB' สำหรับ 'TASK1-SR', 'TASK2-NR', 'TASK3-TSR' จาก https://osf.io/q3zws/files/ ภายใต้ 'osf Storage' รูท
  คลายซิปและย้ายไฟล์ .mat ทั้งหมดไปที่ ~/datasets/ZuCo/task1-SR/Matlab_files , ~/datasets/ZuCo/task2-NR/Matlab_files , ~/datasets/ZuCo/task3-TSR/Matlab_files ตามลำดับ
• ดาวน์โหลด ZUCO v2.0 'ไฟล์ MATLAB' สำหรับ 'TASK1-NR' จาก https://osf.io/2urht/files/ ภายใต้รูท 'osf Storage', unzip และย้ายไฟล์ .mat ทั้งหมดไปยัง ~/datasets/ZuCo/task2-NR-2.0/Matlab_files

ชุดข้อมูลประมวลผลล่วงหน้า

เรียกใช้ bash ./scripts/prepare_dataset.sh เพื่อประมวลผลไฟล์ preprocess .mat และเตรียมฉลากความเชื่อมั่น

สำหรับแต่ละงานไฟล์ .mat ทั้งหมดจะถูกแปลงเป็น .pickle หนึ่งไฟล์ที่เก็บไว้ใน ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle -dataset.pickle

ชุดข้อมูลความเชื่อมั่นสำหรับ ZUCO ( sentiment_labels.json ) จะถูกเก็บไว้ใน ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json

ชุดข้อมูลความเชื่อมั่นสำหรับ Stanford Sentiment Treebank ที่ผ่านการกรองจะถูกเก็บไว้ใน ~/datasets/stanfordsentiment/ternary_dataset.json

ตัวอย่างการใช้งาน

เปิดการถอดรหัสคำศัพท์ EEG-to-text

ในการฝึกอบรมแบบจำลองการถอดรหัส EEG-to-text ให้เรียกใช้ bash ./scripts/train_decoding.sh

ในการประเมินรูปแบบการถอดรหัส EEG-to-text ที่ผ่านการฝึกอบรมจากด้านบนให้เรียกใช้ bash ./scripts/eval_decoding.sh

สำหรับการกำหนดค่าโดยละเอียดของอาร์กิวเมนต์ที่มีอยู่โปรดดูฟังก์ชั่น get_config(case = 'train_decoding') ใน /config.py

ไปป์ไลน์การจำแนกความเชื่อมั่นเป็นศูนย์

ก่อนอื่นเราฝึกอบรมตัวถอดรหัสและตัวจําแนกเป็นรายบุคคลจากนั้นเราประเมินไปป์ไลน์ในข้อมูล ZUCO TASK1-SR

ในการเรียกใช้กระบวนการฝึกอบรมและการประเมินผลทั้งหมดให้เรียกใช้ bash ./scripts/train_eval_zeroshot_pipeline.sh

สำหรับการกำหนดค่าโดยละเอียดของอาร์กิวเมนต์ที่มีอยู่โปรดดูฟังก์ชัน get_config(case = 'eval_sentiment') ใน /config.py

การอ้างอิง

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}