brain_language_summarization

物語を要約するための言語モデルのトレーニングは、脳の整合を改善します

このリポジトリには、ICLR 2023（スポットライト /注目すべきトップ25％）（OpenReview）で公開されている、物語を要約するための物語を要約するためのトレーニング言語モデル」（脳の整合を改善する）（ARXIV）のコードが含まれています。 bibtex：

 @inproceedings{aw2023training,
  title={Training language models to summarize narratives improves brain alignment},
  author={Aw, Khai Loong and Toneva, Mariya},
  booktitle={The Eleventh International Conference on Learning Representations},
  year={2023}
}

設定

パッケージをインストールします

• pip install -r requirements.txt

データ - ハリー・ポッターを読んでいる8人の被験者のfMRI録音

• 既に前処理されたデータをこちらからダウンロードしてください。このデータには、ハリーポッターの1つの章を読んでいる8人の被験者のfMRI録音が含まれています。データは、最初の20TRと最後の15TRSを除去するために、排除され、滑らかにされ、トリミングされました。データの詳細については、論文を参照してください。また、Searchlightの分類精度を計算するために使用した事前に計算されたボクセル周辺を提供しました。
• このリポジトリのデータフォルダーの下に置きます（例./data/fMRI/ fmri/および./data/voxel_neighborhoods ）。

実行コード

以下に、論文で使用するさまざまな実験とコードを実行する方法についての指示を提供します。

• 以下のセクションは、できるだけ密接に紙の流れを一致させるように命じられます。
• 私たちの論文では、多数の実験（多くのモデル、層、シーケンスの長さ、被験者、談話機能、脳のROIなど）を実行します。したがって、さまざまなモデル、レイヤーなどで実験を実行するプロセスを自動化するスクリプトを提供します。

1. NLP表現を抽出します

• このメインスクリプトの変数を変更して実行します： all_scripts/scripts/outer_nlp_extract.sh
• メインスクリプトは、この内部スクリプトを呼び出します： all_scripts/scripts/inner_nlp_extract.sh
• 内側のスクリプトは、このpythonファイルを呼び出します： extract_nlp_features.py
• 出力は次のように生成されます： 1-nlp_features/

2。NLP表現を人間の脳活動に合わせます（つまり、線形エンコーディングプロセス）

• このメインスクリプトの変数を変更して実行します： all_scripts/scripts/outer_encoding.sh
• メインスクリプトは、この内部スクリプトを呼び出します： all_scripts/scripts/inner_encoding.sh
• 内側のスクリプトは、このpythonファイルを呼び出します： predict_brain_from_nlp.py
• 出力は次のように生成されます： 2-encoding_predictions/

3. 20V20分類精度を使用して、Brain-NLPアライメントを評価します

• 上記のセクションで説明したスクリプトは、20V20評価： all_scripts/scripts/outer_encoding.shも実行します。
• メインスクリプトは、この内部スクリプトを呼び出します： all_scripts/scripts/inner_encoding.sh
• 内側のスクリプトは、このpythonファイルを呼び出します： evaluate_brain_predictions.py
• 出力は次のように生成されます： 3-eval-results/

4。言語モデリング能力を計算する（すなわち、困惑またはエントロピーの損失）

• このメインスクリプトの変数を変更して実行します： all_scripts/scripts/outer_perplexity.sh
• メインスクリプトは、この内部スクリプトを呼び出します： all_scripts/scripts/inner_perplexity.sh
• 内側のスクリプトは、このpythonファイルを呼び出します： calculate_perplexity.py
• 出力は4-perplexity-results/

5。booksumで言語モデルを訓練する（紙には使用されていません）

• このメインスクリプトの変数を変更して実行してください： all_scripts/scripts/outer_finetune_booksum.sh
• メインスクリプトは、このpythonファイルを呼び出します： finetune_booksum.py
• 出力は次のように生成されます： 5-finetune-booksum/

6。booksumデータセットでモデルのパフォーマンスを計算する（すなわち、紙には使用されていません）

• このメインスクリプトの変数を変更して実行します： all_scripts/scripts/outer_rouge.sh
• メインスクリプトは、このpythonファイルを呼び出します： compute_rouge.py
• 出力は次のように生成されます： 6-rouge-score/

7。さまざまな談話機能のためにピアソン相関を計算する解釈可能性方法

• まず、ハリー・ポッターのテキストの単語に談話の特徴をラベル付けする必要があります
  • http：//www.cs.cmu.edu/afs/cs/project/theo-73/www/plosone/からダウンロードする
  • data/story_features.matに配置します
• 次に、 align_story_feature_TRs.ipynbを実行して、ラベル付けされた単語をfmri trsにマッピングします
• 最後に、各談話機能に対応するTRSを抽出し、談話機能のピアソン相関スコアを計算します
  • pythonファイルを使用してください： all_scripts/plot_pearson.py
  • 出力は次のように生成されます： 7-pearson-saved/

8。（談話機能、脳ROI）（紙には使用されていない）の各ペアのピアソン相関を計算します）

• pythonファイルを使用してください： all_scripts/plot_discourse_and_RoI.py
• 出力は、 8-RoI-and-pearson-saved/で生成されます

9.脳のプロットを視覚化するために脳ボクセル値を生成する

• このメインスクリプトの変数を変更して実行します： all_scripts/scripts/outer_generate_voxel_values.sh
• メインスクリプトは、このpythonファイルを呼び出します： all_scripts/generate_voxel_values.py
• 出力は次のように生成されます： 9-pearson-voxels-for-brain-plot/

その他

• 紙に使用される重要な数字をプロットするには、 all_scripts/figures_paper/を参照してください。
• 視覚化のために他の図をプロットするには、 all_scripts/plot_{}を参照してください
• 有意性テストと誤検出率（FDR）補正を実行するには、Benjamini – Hochberg（BH）手順を使用して、 compute_stat_significance.ipynb参照してください。
• 当社のリポジトリは、次のGitHubリポジトリのコードを使用しています