brain_language_summarization

培訓語言模型總結敘事可以改善大腦對齊

該存儲庫包含“培訓語言模型總結敘事的培訓語言模型可以改善大腦對齊方式”（ARXIV），發表在ICLR 2023中（聚光燈 /著名的前25％）（OpenReview）（OpenReview）。 Bibtex：

 @inproceedings{aw2023training,
  title={Training language models to summarize narratives improves brain alignment},
  author={Aw, Khai Loong and Toneva, Mariya},
  booktitle={The Eleventh International Conference on Learning Representations},
  year={2023}
}

設定

安裝軟件包

• pip install -r requirements.txt

數據 - 8個主題的fMRI錄音閱讀哈利·波特

• 在此處下載已經預處理的數據。該數據包含8個主題的fMRI記錄，閱讀了哈利·波特的一章。數據被削弱，平滑和修剪以刪除第一個20tr和最後15trs。有關數據的更多信息，請參閱論文。我們還提供了用於計算探照燈分類精度的預先計算的體素社區。
• 將其放在此存儲庫中的數據文件夾中（例如./data/fMRI/和./data/voxel_neighborhoods ）。

運行代碼

下面，我們提供有關如何運行我們在論文中使用的各種實驗和代碼的說明。

• 下令下令以盡可能匹配紙張的流程。
• 在我們的論文中，我們進行了大量實驗（許多模型，層，序列長度，主題，話語特徵，腦部ROI等）。因此，我們提供腳本以自動化各種模型，層等運行實驗的過程。希望這將使其他人盡可能容易地有效地使用我們的代碼。

1。提取NLP表示

• 更改此all_scripts/scripts/outer_nlp_extract.sh腳本中的變量並運行：
• 主腳本調用此內部腳本： all_scripts/scripts/inner_nlp_extract.sh
• 內部腳本調用此python文件： extract_nlp_features.py
• 輸出將在： 1-nlp_features/

2。將NLP表示與人腦活動（即線性編碼過程）

• 更改此all_scripts/scripts/outer_encoding.sh腳本中的變量並運行：
• 主腳本調用此內腳本： all_scripts/scripts/inner_encoding.sh
• 內部腳本調用此python文件： predict_brain_from_nlp.py
• 輸出將在： 2-encoding_predictions/

3。使用20V20分類精度評估腦NLP對齊

• 上面描述的腳本還執行20V20評估： all_scripts/scripts/outer_encoding.sh
• 主腳本調用此內腳本： all_scripts/scripts/inner_encoding.sh
• 內部腳本調用此Python文件： evaluate_brain_predictions.py
• 輸出將在： 3-eval-results/

4。計算語言建模能力（即困惑或橫向滲透損失）

• 更改此all_scripts/scripts/outer_perplexity.sh腳本中的變量並運行：
• 主腳本稱此內部腳本： all_scripts/scripts/inner_perplexity.sh
• 內部腳本稱此python文件： calculate_perplexity.py
• 輸出將以： 4-perplexity-results/

5。書籍上的火車語言模型（不用用於紙）

• 更改此all_scripts/scripts/outer_finetune_booksum.sh腳本中的變量並運行：
• 主腳本稱此python文件： finetune_booksum.py
• 輸出將在： 5-finetune-booksum/

6。在書籍數據集上計算模型的表現（即胭脂分數）（不用用於紙張）

• 更改此all_scripts/scripts/outer_rouge.sh腳本中的變量並運行：
• 主腳本稱此python文件： compute_rouge.py
• 輸出將以： 6-rouge-score/

7。計算各種話語特徵的Pearson相關性的解釋性方法

• 首先，我們需要標記哈利·波特文本中的單詞，其話語特徵
  • 從：http：//www.cs.cmu.edu/afs/cs/project/project/theo-73/www/plosone/
  • 將其放在data/story_features.mat上
• 接下來，運行align_story_feature_TRs.ipynb將標記單詞映射到fMRI TRS
• 最後，提取與每個話語功能相對應的TR，併計算話語特徵的Pearson相關評分
  • 使用python文件： all_scripts/plot_pearson.py
  • 輸出將以： 7-pearson-saved/

8。計算每對（話語特徵，大腦ROI）的計算Pearson相關性（不用於紙）

• 使用python文件： all_scripts/plot_discourse_and_RoI.py
• 輸出將以： 8-RoI-and-pearson-saved/

9。生成腦體素值以可視化大腦圖

• 更改此all_scripts/scripts/outer_generate_voxel_values.sh腳本中的變量並運行：
• 主腳本調用此python文件： all_scripts/generate_voxel_values.py
• 該輸出將在以下方式生成： 9-pearson-voxels-for-brain-plot/

其他的

• 要繪製用於紙張的關鍵數字，請參見： all_scripts/figures_paper/
• 要繪製可視化的其他數字，請參見： all_scripts/plot_{}
• 要使用Benjamini – Hochberg（BH）程序進行顯著性測試和錯誤發現率（FDR）校正，請參見： compute_stat_significance.ipynb
• 我們的存儲庫使用以下GITHUB存儲庫中的代碼