الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

تحديث مهم (6/29/2024)

يحتوي الكود الأصلي على خطأ غير أسي في التقييم الذي يسبب تقييمًا غير دقيق لقدرة النموذج الحقيقية. نشكر Yiqian Yang و Hyejeong Jo ، وآخرون على اكتشاف المشكلة والتحقيق فيها! يرجى قراءة https://arxiv.org/pdf/2405.06459 لمزيد من التفاصيل.

يرجى الرجوع إلى https://github.com/neuspeech/eeg-to-text للرمز المصحح والتجارب التفصيلية. لتجنب المزيد من الالتباس ، قمنا أرشفة هذا الريبو.

يرجى قراءة https://arxiv.org/pdf/2405.06459 قبل المتابعة!

(AAAI 2022) فك تشفير EEG إلى Text Open

خلق بيئة

قم بتشغيل conda env create -f environment.yml لإنشاء بيئة Conda (المسماة "EegTotext") المستخدمة في تجاربنا.

قم بتنزيل مجموعات بيانات Zuco

  • قم بتنزيل Zuco v1.0 'Matlab Files' لـ 'Task1-Sr' ، 'Task2-Nr' ، 'Task3-Trsr' من https://osf.io/q3zws/files/ تحت "OSF Storage" ،
    قم بإلغاء الضغط وحرك جميع ملفات .mat إلى ~/datasets/ZuCo/task1-SR/Matlab_files ، ~/datasets/ZuCo/task2-NR/Matlab_files ، ~/datasets/ZuCo/task3-TSR/Matlab_files على التوالي.
  • قم بتنزيل Zuco v2.0 'Matlab Files' لـ 'Task1-nr' من https://osf.io/2urht/files/ تحت "OSF Storage" ، unzip ونقل جميع ملفات .mat إلى ~/datasets/ZuCo/task2-NR-2.0/Matlab_files .

مجموعات بيانات المعالجة المسبقة

قم بتشغيل bash ./scripts/prepare_dataset.sh إلى ملفات .mat المسبقة وإعداد ملصقات المشاعر.

لكل مهمة ، سيتم تحويل جميع ملفات .mat إلى ملف .pickle واحد مخزّن في ~/datasets/ZuCo/<task_name>/<task_name>-dataset.pickle .

سيتم تخزين مجموعة بيانات المشاعر لـ Zuco ( sentiment_labels.json ) في ~/datasets/ZuCo/task1-SR/sentiment_labels/sentiment_labels.json .

سيتم تخزين مجموعة بيانات المشاعر لـ Stanford Sentiment TreeBank في ~/datasets/stanfordsentiment/ternary_dataset.json

مثال الاستخدام

فتح مفردات eEG إلى Text فك التشفير

لتدريب نموذج فك تشفير EEG إلى النص ، قم بتشغيل bash ./scripts/train_decoding.sh .

لتقييم نموذج فك تشفير EEG إلى Text المدربين من الأعلى ، قم بتشغيل bash ./scripts/eval_decoding.sh .

للحصول على تكوين مفصل للوسائط المتاحة ، يرجى الرجوع إلى الدالة get_config(case = 'train_decoding') في /config.py

خط أنابيب تصنيف المعنويات صفري

نقوم أولاً بتدريب وحدة فك الترميز والمصنف بشكل فردي ، ثم نقوم بتقييم خط الأنابيب على بيانات Zuco Task1-SR.

لتشغيل عملية التدريب والتقييم بأكملها ، قم بتشغيل bash ./scripts/train_eval_zeroshot_pipeline.sh .

للتكوين التفصيلي للوسائط المتاحة ، يرجى الرجوع إلى الدالة get_config(case = 'eval_sentiment') في /config.py

اقتباس 

 @inproceedings{wang2022open,
  title={Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification},
  author={Wang, Zhenhailong and Ji, Heng},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={36},
  number={5},
  pages={5350--5358},
  year={2022}
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل