HeartGPT

Heartgpt

Интерпретируемые предварительно обученные трансформаторы для сердечного времени Данные временных рядов: ссылка на статью

В этом репо существуют обученные модельные файлы, как для предварительно обученных моделей ECGPT, так и PPGPT, так и модели, настраиваемые для арритмии и обнаружение битов. Существуют также GUI, предназначенные для генерации, интерпретации и для реализации тонких настроек.

В этой работе мы применяем генеративную рамку предварительно обученного трансформатора (GPT) к периодическим данным сердечного времени для создания двух предварительно обученных моделей сердца общего назначения, а именно PPG-PT и ECG-PT. Модели способны быть точно настроенными для множества различных задач, связанных с сердцем, таких как скрининг на арритмии. Большой Enphasis этой работы заключается в том, чтобы показать, что предварительно обученные модели полностью интерпретируются, и что эта интерпретация переносится в задачи с тонкой настройкой. Предварительно обученные трансформаторы интерпретируются следующими способами -

Совокупные карты внимания показывают, что модель фокусируется на аналогичных точках в предыдущих сердечных циклах, чтобы делать прогнозы и постепенно расширяет свое внимание в более глубоких слоях:

Токены с одинаковым значением (временные ряды, эквивалентные омоним ), которые встречаются в различных различных точках в форме цикла ЭКГ и PPG, отдельные кластеры в пространстве высокого размера, основываясь на их положении в сердечном цикле, поскольку они обновляются с контекстом других токенов через блоки трансформатора.

Главы индивидуального внимания реагируют на конкретные физиологически значимые особенности , такие как дикротический выемка в PPG и P-волна в ЭКГ.

Эта работа была вдохновлена ​​учебником, созданным Андреем Карпати.

Базовый код и файлы модели:

Heart_pt_generate.py - это сценарий Python, который загружается в примеры контекстов ECG или PPG, и использует соответствующую модель для создания будущих временных шагов.

Предварительно обученные файлы модели Pytorch находятся в папках ZIP ( ECGPT_560K_ITERS и PPGPT_500K_ITERS ).

Тонкая настройка

Пример адаптированного определения модели с тонкой настройкой приведен в «Heart_PT_FINETUNE.PY» , а также о том, как заморозить разные слои.