fastMRI

fastmri

Sitio web | Conjunto de datos | GitHub | Publicaciones

Acelerar la resonancia magnética (MRI) al adquirir menos mediciones tiene el potencial de reducir los costos médicos, minimizar el estrés a los pacientes y hacer que las imágenes de MR sea posible en aplicaciones donde actualmente es prohibitivamente lento o costoso.

FastMri es un proyecto de investigación colaborativa de Facebook AI Research (Fair) y NYU Langone Health para investigar el uso de IA para hacer escaneos de resonancia magnética más rápido. NYU Langone Health ha lanzado conjuntos de datos de resonancia magnética de rodilla y cerebro totalmente anonimizados que se pueden descargar desde la página del conjunto de datos FastMri. Las publicaciones asociadas con el proyecto FastMri se pueden encontrar al final de este readme.

Este repositorio contiene cargadores de datos de Pytorch convenientes, funciones de submuestreo, métricas de evaluación e implementaciones de referencia de métodos de referencia simples. También contiene implementaciones para métodos en algunas de las publicaciones del proyecto FastMri.

Documentación

El conjunto de datos FastMri

Hay múltiples publicaciones que describen diferentes subcomponentes de los datos (p. Ej., Cerebro frente a la rodilla) y las líneas de base asociadas. Todos los datos de FastMri se pueden descargar desde la página del conjunto de datos FastMri.

• Resumen del proyecto, conjuntos de datos, líneas de base: FastMri: un conjunto de datos abierto y puntos de referencia para MRI acelerado ({J. Zbontar*, F. Knoll*, A. Sriram*} et al., 2018)

• Datos de la rodilla: FastMri: un conjunto de datos K RAW K Raw y DICOM disponible públicamente de imágenes de rodilla para la reconstrucción de imágenes de MR acelerado utilizando el aprendizaje automático ({F. Knoll*, J. Zbontar*} et al., 2020)

• Propiedades del conjunto de datos del cerebro: material suplementario de resultados del desafío FastMri 2020 para la reconstrucción de imágenes de MR de aprendizaje automático ({M. Muckley*, B. Riemenschneider*} et al., 2021)

• Datos de próstata: FastMri Prostate: un conjunto de datos de resonancia magnética biparamétrica disponible públicamente para avanzar en el aprendizaje automático para imágenes de cáncer de próstata (Tibrewala et al., 2023)

Repositorio de código

Para la documentación del código, la mayoría de las funciones y clases tienen documentos acompañantes a las que puede acceder a través de la función help en Ipython. Por ejemplo:

 from fastmri . data import SliceDataset

help ( SliceDataset )

Dependencias e instalación

Nota: Las contribuciones al código se prueban continuamente a través de acciones de GitHub. Si se encuentra con un problema, lo mejor que debe hacer es intentar hacer coincidir el entorno tests en setup.cfg , EG, pip install --editable ".[tests]" Al instalar desde la fuente.

Nota: Como se documenta en el número 215, actualmente hay una fuga de memoria cuando se usa h5py instalada desde pip y convertir a una torch.Tensor . Para evitar la fuga, debe usar h5py con una versión de HDF5 antes de 1.12.1. A partir del 16 de febrero de 2022, la versión conda de h5py 3.6.0 usó HDF5 1.10.6, lo que evita la fuga.

Primero instale Pytorch de acuerdo con las instrucciones en el sitio web de Pytorch para su sistema operativo y la configuración de CUDA. Entonces, corre

pip install fastmri

pip manejará todas las dependencias del paquete. Después de esto, debería poder ejecutar la mayor parte del código en el repositorio.

Instalación directamente desde la fuente

Si desea instalar directamente desde la fuente de GitHub, clone el repositorio, navegue al directorio raíz fastmri y ejecute

pip install -e . 

Estructura y uso de paquetes

El repositorio está centrado en el módulo fastmri . Lo siguiente desglosa la estructura básica:

fastmri : contiene una serie de herramientas básicas para matemáticas complejas, combinaciones de bobinas, etc.

• fastmri.data : contiene funciones de utilidad de datos de la carpeta data original que se pueden usar para crear máscaras de muestreo y archivos de envío.
• fastmri.models : contiene modelos de reconstrucción, como U-Net y Varnet.
• fastmri.pl_modules : módulos de rayos de Pytorch para la carga de datos, el entrenamiento y el registro.

Ejemplos y reproducibilidad

Las carpetas fastmri_examples y banding_removal incluyen el código para la reproducibilidad. Los modelos de referencia se usaron en el papel ARXIV.

Sigue un breve resumen de las implementaciones basadas en documentos con enlaces al código. Para completar, también mencionamos el trabajo en la adquisición activa, que se aloja en otro repositorio.

• Modelos de referencia

  • Ejemplos llenos de cero para guardar imágenes para la presentación de la tabla de clasificación
  • Espirit: un enfoque de valor propio para la IRM paralela de autocalibración: donde el sentido se encuentra con Grappa (M. Uecker et al., 2013)
  • Net U: redes convolucionales para la segmentación de imágenes biomédicas (O. Ronneberger et al., 2015)

• Muestreo, reconstrucción y corrección de artefactos

  • El muestreo de compensación mejora las reconstrucciones aceleradas de MRI basadas en el aprendizaje profundo al explotar la simetría (A. Defazio, 2019)
  • Redes variacionales de extremo a extremo para la reconstrucción de resonancia magnética acelerada ({A. Sriram*, J. Zbontar*} et al., 2020)
  • Eliminación de bandas de resonancia magnética mediante entrenamiento adversario (A. Defazio, et al., 2020)
  • Deep Learning Reconstruction permite una resonancia magnética clínica de rodilla acelerada prospectivamente (P. Johnson et al., 2023)
  • Reconstrucciones de resonancia magnética acelerada a través de la red variacional y el aprendizaje de dominio de características (I. Giannakopoulos et al., 2024)

• Adquisición activa

  • (Repositorio externo) Reducción de la incertidumbre en la reconstrucción de resonancia magnética submuestreada con adquisición activa (Z. Zhang et al., 2019)
  • (Repositorio externo) Muestreo activo de MR K-Space con aprendizaje de refuerzo (L. Pineda et al., 2020)
  • Al aprender políticas de adquisición adaptativa para la reconstrucción de resonancia magnética múltiple submuestreada (T. Bakker et al., 2022)

• Datos de próstata

  • (Respository externo) FastMri Prostate: un conjunto de datos de resonancia magnética biparamétrica disponible públicamente para avanzar en el aprendizaje automático para imágenes de cáncer de próstata (Tibrewala et al., 2023)

Pruebas

Ejecute pytest tests . Por defecto, las pruebas de integración que usan los datos de FastMri se omiten. Si desea ejecutar estas pruebas, configure SKIP_INTEGRATIONS en False en el conftest.

Entrenar un modelo

El ReadMe de datos tiene un ejemplo básico sobre cómo cargar datos e incorporar transformaciones de datos. Este cuaderno Jupyter contiene un tutorial simple que explica cómo comenzar a trabajar con los datos.

Mire este script de demostración de la red para un ejemplo de cómo entrenar un modelo utilizando el marco Pytorch Lightning.

Sometiéndose a la tabla de clasificación

Aviso: Como se documenta en la discusión 293, el dominio FastMri.org se transfirió de la propiedad de Meta a la propiedad de la NYU el 2023-04-17, y NYU aún no ha reconstruido el sitio. Hasta que el sitio y los líderes sean reconstruidos por NYU, las tablas de clasificación no estarán disponibles. Las mitigaciones se presentan en la discusión 293.

Licencia

FastMri tiene licencia MIT, como se encuentra en el archivo de licencia.

Citar

Si usa los datos o código FastMri en su proyecto, cite el documento ARXIV:

 @misc { zbontar2018fastMRI ,
    title = { {fastMRI}: An Open Dataset and Benchmarks for Accelerated {MRI} } ,
    author = { Jure Zbontar and Florian Knoll and Anuroop Sriram and Tullie Murrell and Zhengnan Huang and Matthew J. Muckley and Aaron Defazio and Ruben Stern and Patricia Johnson and Mary Bruno and Marc Parente and Krzysztof J. Geras and Joe Katsnelson and Hersh Chandarana and Zizhao Zhang and Michal Drozdzal and Adriana Romero and Michael Rabbat and Pascal Vincent and Nafissa Yakubova and James Pinkerton and Duo Wang and Erich Owens and C. Lawrence Zitnick and Michael P. Recht and Daniel K. Sodickson and Yvonne W. Lui } ,
    journal = { ArXiv e-prints } ,
    archivePrefix = " arXiv " ,
    eprint = { 1811.08839 } ,
    year = { 2018 }
}

Si usa los datos o código de próstata FastMri en su proyecto, cite ese documento:

 @misc { tibrewala2023fastmri ,
  title = { {FastMRI Prostate}: A Publicly Available, Biparametric {MRI} Dataset to Advance Machine Learning for Prostate Cancer Imaging } ,
  author = { Tibrewala, Radhika and Dutt, Tarun and Tong, Angela and Ginocchio, Luke and Keerthivasan, Mahesh B and Baete, Steven H and Chopra, Sumit and Lui, Yvonne W and Sodickson, Daniel K and Chandarana, Hersh and Johnson, Patricia M } ,
  journal = { ArXiv e-prints } ,
  archivePrefix = " arXiv " ,
  eprint = { 2304.09254 } ,
  year = { 2023 }
}

Lista de documentos

Los siguientes enumeran títulos de documentos del proyecto FastMri. Los resúmenes correspondientes, así como los enlaces a preimpresiones y código se pueden encontrar aquí.

1. Zbontar, J.*, Knoll, F.*, Sriram, A.*, Murrell, T., Huang, Z., Muckley, MJ, ... y Lui, YW (2018). FastMri: un conjunto de datos abierto y puntos de referencia para MRI acelerado. Preimpresión ARXIV ARXIV: 1811.08839 .
2. Zhang, Z., Romero, A., Muckley, MJ, Vincent, P., Yang, L. y Drozdzal, M. (2019). Reducción de la incertidumbre en la reconstrucción de resonancia magnética submuestreada con adquisición activa. En CVPR , páginas 2049-2058.
3. Defazio, A. (2019). El muestreo de compensación mejora las reconstrucciones aceleradas de MRI basadas en el aprendizaje profundo al explotar la simetría. Preimpresión de Arxiv, ARXIV: 1912.01101 .
4. Knoll, F.*, Zbontar, J.*, Sriram, A., Muckley, MJ, Bruno, M., Defazio, A., ... & Lui, YW (2020). FastMri: un conjunto de datos de K RAW y DICOM disponible públicamente de imágenes de rodilla para la reconstrucción de imágenes de MR acelerada utilizando el aprendizaje automático. Radiología: Inteligencia Artificial , 2 (1), página E190007.
5. Knoll, F.*, Murrell, T.*, Sriram, A.*, Yakubova, N., Zbontar, J., Rabbat, M., ... & Recht, MP (2020). Avance de aprendizaje automático para la reconstrucción de imágenes de MR con una competencia abierta: descripción general del desafío FastMri 2019. Resonancia magnética en medicina , 84 (6), páginas 3054-3070.
6. Sriram, A., Zbontar, J., Murrell, T., Zitnick, CL, Defazio, A. y Sodickson, DK (2020). GRAPPANET: Combinando imágenes paralelas con aprendizaje profundo para la reconstrucción de resonancia magnética de múltiples bobinas. En CVPR , páginas 14315-14322.
7. Recht, MP, Zbontar, J., Sodickson, DK, Knoll, F., Yakubova, N., Sriram, A., ... y Zitnick, CL (2020). Uso del aprendizaje profundo para acelerar la resonancia magnética de la rodilla en 3T: resultados de un estudio de intercambiabilidad. American Journal of Roentgenology , 215 (6), páginas 1421-1429.
8. Pineda, L., Basu, S., Romero, A., Calandra, R. y Drozdzal, M. (2020). Muestreo activo de MR K-Space con aprendizaje de refuerzo. En Miccai , páginas 23-33.
9. Sriram, A.*, Zbontar, J.*, Murrell, T., Defazio, A., Zitnick, Cl, Yakubova, N., ... y Johnson, P. (2020). Redes variacionales de extremo a extremo para la reconstrucción de resonancia magnética acelerada. En Miccai , páginas 64-73.
10. Defazio, A., Murrell, T. y Recht, MP (2020). MRI Eliminación de bandas a través del entrenamiento adversario. En avances en sistemas de procesamiento de información neural , 33, páginas 7660-7670.
11. Muckley, MJ*, Riemenschneider, B.*, Radmanesh, A., Kim, S., Jeong, G., Ko, J., ... & Knoll, F. (2021). Resultados del desafío FastMri 2020 para el aprendizaje automático Reconstrucción de imágenes de RM. Transacciones IEEE en imágenes médicas , 40 (9), páginas 2306-2317.
12. Johnson, PM, Jeong, G., Hammernik, K., Schlemper, J., Qin, C., Duan, J., ..., y Knoll, F. (2021). Evaluación de la robustez de la reconstrucción de imagen de MR aprendida a las desviaciones sistemáticas entre la capacitación y los datos de prueba para los modelos del desafío FastMri. En el taller de Miccai Mlmir , páginas 25–34,
13. Bakker, T., Muckley, MJ, Romero-Soriano, A., Drozdzal, M. y Pineda, L. (2022). En el aprendizaje de políticas de adquisición adaptativa para la reconstrucción de resonancia magnética múltiple submuestreada. En Midl , páginas 63-85.
14. Radmanesh, A.*, Muckley, MJ*, Murrell, T., Lindsey, E., Sriram, A., Knoll, F., ... & Lui, YW (2022). Explorando los límites de aceleración de la resonancia magnética bidimensional basada en Varnet de aprendizaje profundo. Radiología: Inteligencia Artificial , 4 (6), página E210313.
15. Johnson, PM, Lin, DJ, Zbontar, J., Zitnick, CL, Sriram, A., Muckley, M., Babb, JS, Kline, M., Ciavarra, G., Alaia, E., ..., y Knoll, F. (2023). La reconstrucción de aprendizaje profundo permite una resonancia magnética clínica de rodilla acelerada prospectivamente. Radiología , 307 (2), página E220425.
16. Tibrewala, R., Dutt, T., Tong, A., Ginocchio, L., Keerthivasan, MB, Baete, SH, Lui, YW, Sodickson, DK, Chandarana, H., Johnson, PM (2023). FastMri Prostate: un conjunto de datos de resonancia magnética biparamétrica disponible públicamente para avanzar en el aprendizaje automático para imágenes de cáncer de próstata. Preimpresión Arxiv, ARXIV: 2034.09254 .
17. Giannakopoulos, II, Muckley, MJ, Kim, J., Breen, M., Johnson, PM, Lui, YW, Lattanzi, R. (2024). Reconstrucciones de resonancia magnética acelerada a través de la red variacional y el aprendizaje de dominio de funciones. Informes científicos. Cientific Reports, 14 (1), 10991 .