fastMRI

Fastmri

Веб -сайт | Набор данных | GitHub | Публикации

Ускорение магнитно -резонансной визуализации (МРТ) путем приобретения меньшего количества измерений может снизить медицинские затраты, минимизировать стресс для пациентов и сделать возможной визуализацию МР в приложениях, где в настоящее время она является непомерно медленной или дорогой.

FastMRI - это совместный исследовательский проект от Facebook AI Research (FAIR) и NYU Langone Health, чтобы исследовать использование ИИ для быстрее сделать МРТ. NYU Langone Health выпустила полностью анонимные наборы данных МРТ коленного и мозга, которые можно загрузить со страницы набора данных FastMRI. Публикации, связанные с проектом FastMRI, могут быть найдены в конце этого ReadMe.

Этот репозиторий содержит удобные погрузчики данных Pytorch, функции субмуплирования, показатели оценки и эталонные реализации простых базовых методов. Он также содержит реализации для методов в некоторых публикациях проекта FastMRI.

Документация

Набор данных FASTMRI

Существует несколько публикаций, описывающих различные подкомпоненты данных (например, мозг против колена) и связанные с ними базовые показатели. Все данные FastMRI можно загрузить со страницы набора данных FASTMRI.

• Сводка проекта, наборы данных, базовые показатели: FastMRI: открытый набор данных и тесты для ускоренной МРТ ({J. Zbontar*, F. Knoll*, A. Sriram*} и др., 2018)

• Данные колена: FASTMRI: общедоступный набор данных необработанного K-пространства и DICOM изображений колена для ускоренной реконструкции изображения MR с использованием машинного обучения ({F. Knoll*, J. Zbontar*} и др., 2020)

• Свойства набора данных мозга: Дополнительный материал результатов вызова FastMRI 2020 года для машинного обучения MR реконструкции изображения ({M. Muckley*, B. riemenschneider*} и др., 2021)

• Данные простаты: простата FastMRI: общедоступный, бипараметрический набор данных МРТ для продвижения машинного обучения для визуализации рака простаты (Tibrewala et al., 2023)

Код репозиторий

Для документации по коде большинство функций и классов сопутствуют DocStrings, которые вы можете получить через функцию help в iPython. Например:

 from fastmri . data import SliceDataset

help ( SliceDataset )

Зависимости и установка

Примечание. Взносы в код непрерывно протестируются с помощью действий GitHub. Если вы столкнетесь с проблемой, то лучшее, что нужно сделать, это попытаться соответствовать среде tests в setup.cfg , например, pip install --editable ".[tests]" При установке из источника.

Примечание. Как задокументировано в выпуске 215, в настоящее время возникает утечка памяти при использовании h5py , установленной из pip и преобразования в torch.Tensor . Чтобы избежать утечки, вам нужно использовать h5py с версией HDF5 до 1.12.1. По состоянию на 16 февраля 2022 года версия h5py 3.6.0 conda использовала HDF5 1.10.6, что позволяет избежать утечки.

Сначала установите Pytorch в соответствии с указаниями на веб -сайте Pytorch для вашей операционной системы и настройки CUDA. Затем беги

pip install fastmri

pip будет обрабатывать все зависимости от пакетов. После этого вы сможете запустить большую часть кода в репозитории.

Установка непосредственно из источника

Если вы хотите установить непосредственно из источника GitHub, клонируйте репозиторий, перейдите к корневому каталогу fastmri и запустите

pip install -e . 

Структура упаковки и использование

Репозиторий сосредоточен вокруг модуля fastmri . Следующее разбивает основную структуру:

fastmri : содержит ряд основных инструментов для комплексных номеров, математики, комбинаций катушек и т. Д.

• fastmri.data : содержит функции утилиты данных из исходной папки data , которые можно использовать для создания масок выборки и файлов подчинения.
• fastmri.models : содержит модели реконструкции, такие как U-Net и Varnet.
• fastmri.pl_modules : модули молнии Pytorch для загрузки данных, обучения и ведения журнала.

Примеры и воспроизводимость

Папки fastmri_examples и banding_removal включают код для воспроизводимости. Базовые модели использовались в бумаге Arxiv.

Краткое краткое изложение реализаций, основанных на документах со ссылками на код, следует. Для полноты мы также упоминаем работу по активному приобретению, которое размещается в другом репозитории.

• Базовые модели

  • Заполненные нулевыми примерами для сохранения изображений для подчинения таблицы лидеров
  • Espirit - подход собственного значения к автокалиброванию параллельной МРТ: где смысл встречает Grappa (M. Uecker et al., 2013)
  • U-Net: сверточные сети для биомедицинской сегментации изображений (O. Ronneberger et al., 2015)

• Выборка, реконструкция и коррекция артефактов

  • Сметный выборки улучшает ускоренные реконструкции МРТ на основе глубокого обучения за счет использования симметрии (A. defazio, 2019)
  • Сквозные вариационные сети для ускоренной реконструкции МРТ ({A. Sriram*, J. Zbontar*} et al., 2020)
  • Удаление банков МРТ с помощью состязательного обучения (A. defazio, et al., 2020)
  • Реконструкция глубокого обучения позволяет проспективно ускорить клиническую МРТ колена (P. Johnson et al., 2023)
  • Ускоренные реконструкции МРТ с помощью вариационной сети и обучения домену (I. Giannakopoulos et al., 2024)

• Активное приобретение

  • (Внешний репозиторий) Сокращение неопределенности в недостаточной реконструкции МРТ с активным приобретением (Z. Zhang et al., 2019)
  • (Внешний репозиторий) Активная отбегра k-пространства MR с обучением подкрепления (L. Pineda et al., 2020)
  • О учебе адаптивной политики приобретения для реконструкции МРТ с несколькими категориями (T. Bakker et al., 2022)

• Данные простаты

  • (Внешний ответ) Простата FastMRI: общедоступный, бипараметрический набор данных МРТ для продвижения машинного обучения для визуализации рака простаты (Tibrewala et al., 2023)

Тестирование

Запустите pytest tests . По умолчанию тесты интеграции, которые используют данные FastMRI, пропущены. Если вы хотите запустить эти тесты, установите SKIP_INTEGRATIONS в False в Conftest.

Обучение модели

Data Readme имеет пример для загрузки данных и включить преобразования данных. Эта записная книжка с Юпитером содержит простой учебник, объясняющий, как начать работу с данными.

Пожалуйста, посмотрите на этот демонстрационный скрипт U-Net, чтобы получить пример того, как обучить модель, используя фреймворк Lightning Pytorch.

Отправка в таблицу лидеров

Примечание: Как задокументировано в обсуждении 293, домен FastMri.org был перенесен из Meta собственности в владение Нью-Йоркским университетом в 2023-04-17, а NYU еще не перестроил сайт. До тех пор, пока сайт и лидеры не будут восстановлены в Нью -Йоркском университете, таблицы лидеров будут недоступны. Смягчения представлены в обсуждении 293.

Лицензия

FastMRI лицензирован MIT, как найдено в файле лицензии.

Цитировать

Если вы используете данные или код FASTMRI в своем проекте, укажите статью ARXIV:

 @misc { zbontar2018fastMRI ,
    title = { {fastMRI}: An Open Dataset and Benchmarks for Accelerated {MRI} } ,
    author = { Jure Zbontar and Florian Knoll and Anuroop Sriram and Tullie Murrell and Zhengnan Huang and Matthew J. Muckley and Aaron Defazio and Ruben Stern and Patricia Johnson and Mary Bruno and Marc Parente and Krzysztof J. Geras and Joe Katsnelson and Hersh Chandarana and Zizhao Zhang and Michal Drozdzal and Adriana Romero and Michael Rabbat and Pascal Vincent and Nafissa Yakubova and James Pinkerton and Duo Wang and Erich Owens and C. Lawrence Zitnick and Michael P. Recht and Daniel K. Sodickson and Yvonne W. Lui } ,
    journal = { ArXiv e-prints } ,
    archivePrefix = " arXiv " ,
    eprint = { 1811.08839 } ,
    year = { 2018 }
}

Если вы используете данные о простате FastMRI в своем проекте, пожалуйста, укажите эту статью:

 @misc { tibrewala2023fastmri ,
  title = { {FastMRI Prostate}: A Publicly Available, Biparametric {MRI} Dataset to Advance Machine Learning for Prostate Cancer Imaging } ,
  author = { Tibrewala, Radhika and Dutt, Tarun and Tong, Angela and Ginocchio, Luke and Keerthivasan, Mahesh B and Baete, Steven H and Chopra, Sumit and Lui, Yvonne W and Sodickson, Daniel K and Chandarana, Hersh and Johnson, Patricia M } ,
  journal = { ArXiv e-prints } ,
  archivePrefix = " arXiv " ,
  eprint = { 2304.09254 } ,
  year = { 2023 }
}

Список документов

В следующем перечислены названия документов из проекта FastMRI. Соответствующие тезисы, а также ссылки на предварительные и код можно найти здесь.

1. Zbontar, J.*, Knoll, F.*, Sriram, A.*, Murrell, T., Huang, Z., Muckley, MJ, ... & Lui, YW (2018). FASTMRI: открытый набор данных и тесты для ускоренной МРТ. Arxiv Preprint arxiv: 1811.08839 .
2. Zhang, Z., Romero, A., Muckley, MJ, Vincent, P., Yang, L. & Drozdzal, M. (2019). Сокращение неопределенности в недостаточной реконструкции МРТ с активным приобретением. В CVPR , страницы 2049-2058.
3. Defazio, A. (2019). Офсетная выборка улучшает ускоренные реконструкции МРТ на основе глубокого обучения за счет использования симметрии. Arxiv Preprint, Arxiv: 1912.01101 .
4. Knoll, F.*, Zbontar, J.*, Sriram, A., Muckley, MJ, Bruno, M., Defazio, A., ... & Lui, YW (2020). FASTMRI: общедоступный набор данных RAW Space и DICOM изображений колена для ускоренной реконструкции изображения MR с использованием машинного обучения. Радиология: искусственный интеллект , 2 (1), страница E190007.
5. Knoll, F.*, Murrell, T.*, Sriram, A.*, Yakubova, N., Zbontar, J., Rabbat, M., ... & Recht, MP (2020). Дополнение машинного обучения для реконструкции MR Image с открытым конкурентом: обзор 2019 FastMRI Challenge. Магнитный резонанс в медицине , 84 (6), страницы 3054-3070.
6. Sriram, A., Zbontar, J., Murrell, T., Zitnick, CL, Defazio, A. & Sodickson, DK (2020). Grappanet: комбинирование параллельной визуализации с глубоким обучением для реконструкции МРТ с несколькими катушками. В CVPR , страницы 14315-14322.
7. Recht, Mp, Zbontar, J., Sodickson, DK, Knoll, F., Yakubova, N., Sriram, A., ... & Zitnick, CL (2020). Использование глубокого обучения для ускорения МРТ колена при 3T: результаты исследования взаимозаменяемости. Американский журнал рентгенологии , 215 (6), страницы 1421-1429.
8. Pineda, L., Basu S., Romero, A., Calandra, R. & Drozdzal, M. (2020). Активная выборка M MR K-пространства с обучением подкрепления. В Miccai , страницы 23-33.
9. Sriram, A.*, Zbontar, J.*, Murrell, T., Defazio, A., Zitnick, CL, Yakubova, N., ... & Johnson, P. (2020). Сквозные вариационные сети для ускоренной реконструкции МРТ. В Miccai , страницы 64-73.
10. Defazio, A., Murrell, T. & Recht, MP (2020). Удаление МРТ с помощью состязательного обучения. В достижениях в системах обработки нейронной информации , 33, страницы 7660-7670.
11. Muckley, MJ*, Riemenschneider, B.*, Radmanesh, A., Kim, S., Jeong, G., Ko, J., ... & Knoll, F. (2021). Результаты вызова FastMRI 2020 для машинного обучения MR реконструкция изображения. IEEE транзакции по медицинской визуализации , 40 (9), страницы 2306-2317.
12. Johnson, PM, Jeong, G., Hammnik, K., Schlemper, J., Qin, C., Duan, J., ... & Knoll, F. (2021). Оценка надежности изученной реконструкции изображения MR к систематическим отклонениям между данными обучения и тестированием для моделей из задачи FastMRI. В мастерской Miccai Mlmir , страницы 25–34,
13. Bakker, T., Muckley, MJ, Romero-Soriano, A., Drozdzal, M. & Pineda, L. (2022). О обучении адаптивной политике приобретения для неэффективной реконструкции МРТ-МРТ. В середине страницы 63-85.
14. Radmanesh, A.*, Muckley, MJ*, Murrell, T., Lindsey, E., Sriram, A., Knoll, F., ... & Lui, YW (2022). Изучение пределов ускорения глубокого обучения двумерной МРТ головного мозга на основе варнета. Радиология: искусственный интеллект , 4 (6), страница E210313.
15. Johnson, PM, Lin, DJ, Zbontar, J., Zitnick, CL, Sriram, A., Muckley, M., Babb, JS, Kline, M., Ciavarra, G., Alaia, E., ... & Knoll, F. (2023). Реконструкция глубокого обучения позволяет проспективно ускорить клиническую МРТ колена. Радиология , 307 (2), страница E220425.
16. Tibrewala, R., Dutt, T., Tong, A., Ginocchio, L., Keerthivasan, MB, Baete, SH, Lui, YW, Sodickson, DK, Chandarana, H., Johnson, PM (2023). Простата FastMRI: общедоступный, бипараметрический набор данных МРТ для продвижения машинного обучения для визуализации рака простаты. Arxiv Preprint, Arxiv: 2034.09254 .
17. Giannakopoulos, II, Muckley, MJ, Kim, J., Breen, M., Johnson, PM, Lui, YW, Lattanzi, R. (2024). Ускоренные реконструкции МРТ с помощью вариационной сети и обучения доменного домена. Научные отчеты. Scientific Reports, 14 (1), 10991 .