brain_language_summarization

培训语言模型总结叙事可以改善大脑对齐

该存储库包含“培训语言模型总结叙事的培训语言模型可以改善大脑对齐方式”（ARXIV），发表在ICLR 2023中（聚光灯 /著名的前25％）（OpenReview）（OpenReview）。 Bibtex：

 @inproceedings{aw2023training,
  title={Training language models to summarize narratives improves brain alignment},
  author={Aw, Khai Loong and Toneva, Mariya},
  booktitle={The Eleventh International Conference on Learning Representations},
  year={2023}
}

设置

安装软件包

• pip install -r requirements.txt

数据 - 8个主题的fMRI录音阅读哈利·波特

• 在此处下载已经预处理的数据。该数据包含8个主题的fMRI记录，阅读了哈利·波特的一章。数据被削弱，平滑和修剪以删除第一个20tr和最后15trs。有关数据的更多信息，请参阅论文。我们还提供了用于计算探照灯分类精度的预先计算的体素社区。
• 将其放在此存储库中的数据文件夹中（例如./data/fMRI/和./data/voxel_neighborhoods ）。

运行代码

下面，我们提供有关如何运行我们在论文中使用的各种实验和代码的说明。

• 下令下令以尽可能匹配纸张的流程。
• 在我们的论文中，我们进行了大量实验（许多模型，层，序列长度，主题，话语特征，脑部ROI等）。因此，我们提供脚本以自动化各种模型，层等运行实验的过程。希望这将使其他人尽可能容易地有效地使用我们的代码。

1。提取NLP表示

• 更改此all_scripts/scripts/outer_nlp_extract.sh脚本中的变量并运行：
• 主脚本调用此内部脚本： all_scripts/scripts/inner_nlp_extract.sh
• 内部脚本调用此python文件： extract_nlp_features.py
• 输出将在： 1-nlp_features/

2。将NLP表示与人脑活动（即线性编码过程）

• 更改此all_scripts/scripts/outer_encoding.sh脚本中的变量并运行：
• 主脚本调用此内脚本： all_scripts/scripts/inner_encoding.sh
• 内部脚本调用此python文件： predict_brain_from_nlp.py
• 输出将在： 2-encoding_predictions/

3。使用20V20分类精度评估脑NLP对齐

• 上面描述的脚本还执行20V20评估： all_scripts/scripts/outer_encoding.sh
• 主脚本调用此内脚本： all_scripts/scripts/inner_encoding.sh
• 内部脚本调用此Python文件： evaluate_brain_predictions.py
• 输出将在： 3-eval-results/

4。计算语言建模能力（即困惑或横向渗透损失）

• 更改此all_scripts/scripts/outer_perplexity.sh脚本中的变量并运行：
• 主脚本称此内部脚本： all_scripts/scripts/inner_perplexity.sh
• 内部脚本称此python文件： calculate_perplexity.py
• 输出将以： 4-perplexity-results/

5。书籍上的火车语言模型（不用用于纸）

• 更改此all_scripts/scripts/outer_finetune_booksum.sh脚本中的变量并运行：
• 主脚本称此python文件： finetune_booksum.py
• 输出将在： 5-finetune-booksum/

6。在书籍数据集上计算模型的表现（即胭脂分数）（不用用于纸张）

• 更改此all_scripts/scripts/outer_rouge.sh脚本中的变量并运行：
• 主脚本称此python文件： compute_rouge.py
• 输出将以： 6-rouge-score/

7。计算各种话语特征的Pearson相关性的解释性方法

• 首先，我们需要标记哈利·波特文本中的单词，其话语特征
  • 从：http：//www.cs.cmu.edu/afs/cs/project/project/theo-73/www/plosone/
  • 将其放在data/story_features.mat上
• 接下来，运行align_story_feature_TRs.ipynb将标记单词映射到fMRI TRS
• 最后，提取与每个话语功能相对应的TR，并计算话语特征的Pearson相关评分
  • 使用python文件： all_scripts/plot_pearson.py
  • 输出将以： 7-pearson-saved/

8。计算每对（话语特征，大脑ROI）的计算Pearson相关性（不用于纸）

• 使用python文件： all_scripts/plot_discourse_and_RoI.py
• 输出将以： 8-RoI-and-pearson-saved/

9。生成脑体素值以可视化大脑图

• 更改此all_scripts/scripts/outer_generate_voxel_values.sh脚本中的变量并运行：
• 主脚本调用此python文件： all_scripts/generate_voxel_values.py
• 该输出将在以下方式生成： 9-pearson-voxels-for-brain-plot/

其他的

• 要绘制用于纸张的关键数字，请参见： all_scripts/figures_paper/
• 要绘制可视化的其他数字，请参见： all_scripts/plot_{}
• 要使用Benjamini – Hochberg（BH）程序进行显着性测试和错误发现率（FDR）校正，请参见： compute_stat_significance.ipynb
• 我们的存储库使用以下GITHUB存储库中的代码