HeartGPT
1.0.0
Transformadores pré-treinados interpretáveis para os dados da série de tempo do coração: link para o artigo
Neste repositório, existem arquivos de modelo treinado, tanto para os modelos pré-treinados ECGPT quanto para o PPGPT, e os modelos ajustados para arrythmias e a detecção de batidas. Também existem GUIs projetados para geração, interpretabilidade e para implementação dos modelos de ajuste fino.
Neste trabalho, aplicamos a estrutura generativa do transformador pré-treinado (GPT) a dados periódicos da série temporal do coração para criar dois modelos cardíacos de propósito geral pré-treinado, a saber, PPG-PT e ECG-PT. Os modelos são capazes de ser ajustados para muitas tarefas diferentes relacionadas a cardíacos, como a triagem de arrythmias. Uma grande enphasis deste trabalho é mostrar que os modelos pré-treinados são totalmente interpretáveis e que essa interpretabilidade é transferida para tarefas de ajuste fino. Os transformadores pré -treinados são interpretáveis das seguintes maneiras -
Os mapas agregados de atenção mostram que o modelo se concentra em pontos semelhantes em ciclos cardíacos anteriores, a fim de fazer previsões e gradualmente amplia sua atenção em camadas mais profundas: 
Tokens com o mesmo valor (o equivalente a séries temporais de um homônimo ) que ocorrem em diferentes pontos distintos no ciclo ECG e PPG, formam grupos separados no espaço de alta dimensão, com base em sua posição no ciclo cardíaco, como são atualizados com o contexto de outros tokens através dos blocos de transformadores. 
As cabeças de atenção individuais respondem a características fisiologicamente relevantes específicas , como o entalhe dicrótico no PPG e a onda P no ECG. 
Este trabalho foi inspirado por um tutorial criado por Andrej Karpathy.
Heart_Pt_Generate.py é um script python que carrega em contextos de exemplo de ECG ou PPG e usa o modelo apropriado para gerar etapas de tempo futuras.
Os arquivos do modelo Pytorch pré-treinados estão nas pastas ZIP ( ECGPT_560K_ITERS e PPGPT_500K_ITERS ).
Um exemplo de definição de modelo de ajuste fino adaptado é fornecido em "Heart_pt_fineTune.py" , juntamente com como congelar camadas diferentes.
