HeartGPT

心靈

心臟時序數據的可解釋的預訓練的變壓器：鏈接到紙張

在此存儲庫中，有訓練有素的模型文件，包括預先訓練的模型ECGPT和PPGPT，以及用於Arrythmias和Beat檢測的模型。也有用於生成，可解釋性和實施微調模型的GUIS。

在這項工作中，我們將生成的預訓練的變壓器（GPT）框架應用於定期心臟時序數據，以創建兩個預訓練的通用心臟模型，即PPG-PT和ECG-PT。這些模型能夠針對許多不同的心臟相關任務進行微調，例如篩查芳香族。這項工作的一個重大強調是表明預培訓的模型是完全可解釋的，並且這種可解釋性延續到微調的任務中。預先訓練的變壓器可以通過以下方式解釋 -

總體注意力圖表明，該模型的重點是先前心臟週期中的相似點，以進行預測並逐漸在更深的層中擴大其註意力：

具有相同值的令牌（相當於同音詞的時間序列），在ECG和PPG週期中不同的不同點上發生的代幣根據其在心臟週期中的位置在高維空間中單獨的簇形成單獨的簇，因為它們通過變壓器塊的其他代幣進行了更新。

個人注意力負責人對特定的生理相關特徵做出了反應，例如PPG中的替代性缺陷和ECG中的P波。

這項工作的靈感來自Andrej Karpathy創建的教程。

基本代碼和模型文件：

heart_pt_generate.py是一個Python腳本，在ECG或PPG的示例上下文中加載，並使用適當的模型來生成未來的時間步驟。

預訓練的Pytorch模型文件位於ZIP文件夾（ ECGPT_560K_ITERS和PPGPT_500K_ITERS ）中。

微調

一個示例改編的微調模型定義在“ heart_pt_finetune.py”中提供，以及如何冷凍不同的層。