fastMRI

Fastmri

Website | Datensatz | Github | Veröffentlichungen

Die Beschleunigung der Magnetresonanztomographie (MRT) durch Erwerb weniger Messungen kann die medizinischen Kosten senken, die Stress für Patienten minimieren und die MR -Bildgebung in Anwendungen ermöglichen, bei denen sie derzeit unerschwinglich oder teuer ist.

Fastmri ist ein kollaboratives Forschungsprojekt von Facebook AI Research (Fair) und NYU Langone Health, um die Verwendung von KI zu untersuchen, um MRT -Scans schneller zu machen. Die NYU Langone Health hat vollständig anonymisierte Knie- und Gehirn -MRT -Datensätze veröffentlicht, die von der Fastmri -Datensatzseite heruntergeladen werden können. Veröffentlichungen, die mit dem Fastmri -Projekt verbunden sind, finden Sie am Ende dieses Readme.

Dieses Repository enthält bequeme Pytorch -Datenlader, Subsamplingfunktionen, Bewertungsmetriken und Referenzimplementierungen einfacher Basismethoden. Es enthält auch Implementierungen für Methoden in einigen Veröffentlichungen des Fastmri -Projekts.

Dokumentation

Der Fastmri -Datensatz

Es gibt mehrere Veröffentlichungen, die verschiedene Unterkomponenten der Daten (z. B. Gehirn vs. Knie) und zugehörige Basislinien beschreiben. Alle Fastmri -Daten können von der Fastmri -Datensatzseite heruntergeladen werden.

• Projektzusammenfassung, Datensätze, Baselines: Fastmri: Ein offener Datensatz und Benchmarks für beschleunigte MRT ({J. Zbontar*, F. Knoll*, A. Sriram*} et al., 2018)

• Kniedaten: Fastmri: Ein öffentlich verfügbarer Rohk-Space- und Dicom-Datensatz von Kniebildern für die beschleunigte MR-Bildrekonstruktion mit maschinellem Lernen ({F. Knoll*, J. Zbontar*} et al., 2020)

• Hirndatensatzeigenschaften: Ergänzendes Material der Ergebnisse der 2020 Fastmri Challenge für maschinelles Lernen MR -Bildrekonstruktion ({M. Muckley*, B. Riemenschneider*} et al., 2021)

• Prostata -Daten: Fastmri Prostata: Ein öffentlich verfügbares, biparametrisches MRT -Datensatz zur Förderung des maschinellen Lernens für die Bildgebung von Prostatakrebs (Tibrewala et al., 2023)

Code -Repository

Für die Code -Dokumentation sind die meisten Funktionen und Klassen begleitet von Docstrings, auf die Sie über die help in Ipython zugreifen können. Zum Beispiel:

 from fastmri . data import SliceDataset

help ( SliceDataset )

Abhängigkeiten und Installation

Hinweis: Die Beiträge zum Code werden kontinuierlich über GitHub -Aktionen getestet. Wenn Sie auf ein Problem stoßen, ist das Beste, das Beste zu tun, um die tests in setup.cfg , z pip install --editable ".[tests]"

HINWEIS: Wie in Ausgabe 215 dokumentiert, gibt es derzeit ein Speicherleck, wenn h5py aus pip installiert und in einen torch.Tensor umgewandelt wird. Um das Leck zu vermeiden, müssen Sie h5py mit einer Version von HDF5 vor 1.12.1 verwenden. Ab dem 16. Februar 2022 verwendete die conda -Version von h5py 3.6.0 HDF5 1.10.6, wodurch das Leck vermieden wird.

Installieren Sie zuerst Pytorch gemäß den Anweisungen auf der Pytorch -Website für Ihr Betriebssystem und Ihr CUDA -Setup. Dann rennen Sie

pip install fastmri

pip behandelt alle Paketabhängigkeiten. Danach sollten Sie in der Lage sein, den größten Teil des Code im Repository auszuführen.

Direkt aus der Quelle installieren

Wenn Sie direkt über die GitHub -Quelle installieren möchten, klonen Sie das Repository, navigieren Sie zum fastmri -Root -Verzeichnis und führen Sie aus

pip install -e . 

Paketstruktur und Verwendung

Das Repository befindet sich um das fastmri -Modul. Die folgende Unterbrechung der Grundstruktur:

fastmri : Enthält eine Reihe grundlegender Tools für komplexe Zahlmathematik, Spulenkombinationen usw.

• fastmri.data : Enthält Datenversorgungsfunktionen aus dem data , mit dem Abtastmasken und Einreichungsdateien erstellt werden können.
• fastmri.models : Enthält Rekonstruktionsmodelle wie U-NET und Varnet.
• fastmri.pl_modules : Pytorch Lightning -Module für Datenbelastung, Training und Protokollierung.

Beispiele und Reproduzierbarkeit

Die Ordner fastmri_examples und banding_removal enthalten Code für die Reproduzierbarkeit. Die Basismodelle wurden im Arxiv -Papier verwendet.

Eine kurze Zusammenfassung der Implementionen, die auf Papieren mit Links zum Code basieren, folgt. Für die Vollständigkeit erwähnen wir auch Arbeiten zur aktiven Akquisition, die in einem anderen Repository gehostet wird.

• Basismodelle

  • Beispiele für das Speichern von Bildern für die Einreichung von Rangliste
  • ESPIRIT - Ein Eigenwertansatz zur autokalibrierten parallelen MRT: Wo Sinn auf Grappa trifft (M. Uecker et al., 2013)
  • U-NET: Faltungsnetzwerke für die biomedizinische Bildsegmentierung (O. Ronneberger et al., 2015)

• Probenahme, Rekonstruktion und Artefaktkorrektur

  • Die Offset -Probenahme verbessert tief lernbasierte beschleunigte MRT -Rekonstruktionen durch Ausnutzung der Symmetrie (A. DeFazio, 2019)
  • End-to-End-Variationsnetzwerke für die beschleunigte MRT-Rekonstruktion ({A. Sriram*, J. Zbontar*} et al., 2020)
  • MRT -Banding -Entfernung über das kontroverse Training (A. DeFazio et al., 2020)
  • Deep Learning Reconstruction ermöglicht prospektiv beschleunigte klinische Knie -MRT (P. Johnson et al., 2023)
  • Beschleunigte MRT -Rekonstruktionen über Variationsnetz- und Feature -Domänen -Lernen (I. Giannakopoulos et al., 2024)

• Aktive Erwerb

  • (externes Repository) Reduzierung der Unsicherheit bei der unterabgetasteten MRT -Rekonstruktion mit aktiver Akquisition (Z. Zhang et al., 2019)
  • (externes Repository) Active MR K-Space-Probenahme mit Verstärkungslernen (L. Pineda et al., 2020)
  • Über das Lernen von adaptiven Erwerbsrichtlinien für unterabgetastete Multi-Coil-MRT-Rekonstruktion (T. Bakker et al., 2022)

• Prostata -Daten

  • (externe Respository) Fastmri Prostata: Ein öffentlich verfügbares, biparametrisches MRT -Datensatz zur Förderung des maschinellen Lernens für die Bildgebung von Prostatakrebs (Tibrewala et al., 2023)

Testen

Führen Sie pytest tests durch. Standardmäßig werden Integrationstests, bei denen die Fastmri -Daten verwendet werden, übersprungen. Wenn Sie diese Tests ausführen möchten, setzen Sie SKIP_INTEGRATIONS auf False .

Training ein Modell

Die Daten Readme verfügt über ein Beispiel für das Laden von Daten und das Einbinden von Datenumstellungen. Dieses Jupyter -Notizbuch enthält ein einfaches Tutorial, in dem erklärt wird, wie man mit den Daten beginnt.

Bitte sehen Sie sich dieses UNET-Demo-Skript an, um ein Beispiel für das Training eines Modells mit dem Pytorch Lightning-Framework zu trainieren.

Unterbringung an die Rangliste

Hinweis: Wie in Diskussion 293 dokumentiert, wurde die Fastmri.org-Domäne von Meta-Besitz in die NYU-Eigentümerin an 2023-04-17 übertragen, und die NYU hat die Website noch nicht umgebaut. Bis die Website und die Leaderbaords von NYU wieder aufgebaut werden, sind Bestaderboards nicht verfügbar. Minderungen sind in Diskussion 293 vorgestellt.

Lizenz

Fastmri ist MIT lizenziert, wie in der Lizenzdatei zu finden.

Zitieren

Wenn Sie die Fastmri -Daten oder -code in Ihrem Projekt verwenden, geben Sie bitte das Arxiv -Papier an:

 @misc { zbontar2018fastMRI ,
    title = { {fastMRI}: An Open Dataset and Benchmarks for Accelerated {MRI} } ,
    author = { Jure Zbontar and Florian Knoll and Anuroop Sriram and Tullie Murrell and Zhengnan Huang and Matthew J. Muckley and Aaron Defazio and Ruben Stern and Patricia Johnson and Mary Bruno and Marc Parente and Krzysztof J. Geras and Joe Katsnelson and Hersh Chandarana and Zizhao Zhang and Michal Drozdzal and Adriana Romero and Michael Rabbat and Pascal Vincent and Nafissa Yakubova and James Pinkerton and Duo Wang and Erich Owens and C. Lawrence Zitnick and Michael P. Recht and Daniel K. Sodickson and Yvonne W. Lui } ,
    journal = { ArXiv e-prints } ,
    archivePrefix = " arXiv " ,
    eprint = { 1811.08839 } ,
    year = { 2018 }
}

Wenn Sie die Fastmri -Prostata -Daten oder -code in Ihrem Projekt verwenden, zitieren Sie bitte dieses Papier:

 @misc { tibrewala2023fastmri ,
  title = { {FastMRI Prostate}: A Publicly Available, Biparametric {MRI} Dataset to Advance Machine Learning for Prostate Cancer Imaging } ,
  author = { Tibrewala, Radhika and Dutt, Tarun and Tong, Angela and Ginocchio, Luke and Keerthivasan, Mahesh B and Baete, Steven H and Chopra, Sumit and Lui, Yvonne W and Sodickson, Daniel K and Chandarana, Hersh and Johnson, Patricia M } ,
  journal = { ArXiv e-prints } ,
  archivePrefix = " arXiv " ,
  eprint = { 2304.09254 } ,
  year = { 2023 }
}

Liste der Papiere

In den folgenden Auflagen von Papieren aus dem Fastmri -Projekt. Die entsprechenden Abstracts sowie Links zu Preprints und Code finden Sie hier.

1. Zbontar, J.*, Knoll, F.*, Sriram, A.*, Murrell, T., Huang, Z., Muckley, MJ, ... & Lui, YW (2018). Fastmri: Ein offener Datensatz und Benchmarks für beschleunigte MRT. Arxiv Preprint Arxiv: 1811.08839 .
2. Zhang, Z., Romero, A., Muckley, MJ, Vincent, P., Yang, L. & Drozdzal, M. (2019). Reduzierung der Unsicherheit bei der unterabgesetzten MRT -Rekonstruktion mit aktivem Erwerb. In CVPR , Seiten 2049-2058.
3. DeFazio, A. (2019). Die Offset -Probenahme verbessert die beschleunigte, beschleunigte MRT -Rekonstruktionen, die die Symmetrie ausnutzen. Arxiv Preprint, Arxiv: 1912.01101 .
4. Knoll, F.*, Zbontar, J.*, Sriram, A., Muckley, MJ, Bruno, M., DeFazio, A., ... & Lui, YW (2020). FASTMRI: Ein öffentlich verfügbarer Roh-K-Raum- und Dicom-Datensatz von Kniebildern für die beschleunigte MR-Bildrekonstruktion mit maschinellem Lernen. Radiologie: Künstliche Intelligenz , 2 (1), Seite E190007.
5. Knoll, F.*, Murrell, T.*, Sriram, A.*, Yakubova, N., Zbontar, J., Rabbat, M., ... & Revht, MP (2020). Förderung des maschinellen Lernens für MR Image -Rekonstruktion mit einem offenen Wettbewerb: Überblick über die Fastmri Challenge 2019. Magnetresonanz in der Medizin , 84 (6), Seiten 3054-3070.
6. Sriram, A., Zbontar, J., Murrell, T., Zitnick, CL, DeFazio, A. & Sodickson, DK (2020). GRAPPANET: Kombination der parallele Bildgebung mit tiefem Lernen für Multi-Coil-MRT-Rekonstruktion. In CVPR , Seiten 14315-14322.
7. Recht, MP, Zbontar, J., Sodickson, DK, Knoll, F., Yakubova, N., Sriram, A., ... & Zitnick, Cl (2020). Verwenden von Deep -Lernen zur Beschleunigung der Knie -MRT bei 3T: Ergebnisse einer Austauschbarkeitsstudie. American Journal of Roentgenology , 215 (6), Seiten 1421-1429.
8. Pineda, L., Basu, S., Romero, A., Calandra, R. & Drozdzal, M. (2020). Aktive MR K-Space-Probenahme mit Verstärkungslernen. In Miccai , Seiten 23-33.
9. Sriram, A.*, Zbontar, J.*, Murrell, T., DeFazio, A., Zitnick, CL, Yakubova, N., ... & Johnson, P. (2020). End-to-End-Variationsnetzwerke für eine beschleunigte MRT-Rekonstruktion. In Miccai , Seiten 64-73.
10. A. DeFazio, T. Murrell & RELHT, MP (2020). MRT -Banding -Entfernung durch kontroverses Training. In Fortschritten in neuronalen Informationsverarbeitungssystemen , 33, Seiten 7660-7670.
11. Muckley, MJ*, Riemenschneider, B.*, Radmanesh, A., Kim, S., Jeong, G., Ko, J., ... & Knoll, F. (2021). Ergebnisse der 2020 Fastmri Challenge für maschinelles Lernen MR -Bildrekonstruktion. IEEE-Transaktionen zur medizinischen Bildgebung , 40 (9), Seiten 2306-2317.
12. Johnson, PM, Jeong, G., Hammernik, K., Schlemper, J., Qin, C., Duan, J., ..., & Knoll, F. (2021). Bewertung der Robustheit der erlernten MR -Bildrekonstruktion auf systematische Abweichungen zwischen Trainings- und Testdaten für die Modelle aus der Fastmri -Herausforderung. In MICCAI MLMIR Workshop , Seiten 25–34,
13. Bakker, T., Muckley, MJ, Romero-Soriano, A., Drozdzal, M. & Pineda, L. (2022). Über das Lernen von adaptiven Erwerbsrichtlinien für unterabgetastete Multi-Coil-MRT-Rekonstruktion. In Midl , Seiten 63-85.
14. Radmanesh, A.*, Muckley, MJ*, Murrell, T., Lindsey, E., Sriram, A., Knoll, F., ... & Lui, YW (2022). Untersuchung der Beschleunigungsgrenzen von Deep Learning Varnet-basierte zweidimensionale Hirn-MRT. Radiologie: Künstliche Intelligenz , 4 (6), Seite E210313.
15. Johnson, PM, Lin, DJ, Zbontar, J., Zitnick, Cl, Sriram, A., Muckley, M., Babb, JS, Kline, M., Ciavarra, G., Alaia, E., ..., & Knoll, F. (2023). Deep Learning Reconstruction ermöglicht prospektiv beschleunigte klinische Knie -MRT. Radiologie , 307 (2), Seite E220425.
16. Tibrewala, R., Dutt, T., Tong, A., Ginocchio, L., Keerthivasan, MB, Baete, SH, Lui, YW, Sodickson, DK, Chandarana, H., Johnson, PM (2023). FASTMRI -Prostata: Ein öffentlich verfügbares, biparametrisches MRT -Datensatz, um das maschinelle Lernen für die Bildgebung von Prostatakrebs voranzutreiben. Arxiv Preprint, Arxiv: 2034.09254 .
17. Giannakopoulos, II, Muckley, MJ, Kim, J., Breen, M., Johnson, PM, Lui, YW, Lattanzi, R. (2024). Beschleunigte MRT -Rekonstruktionen über Variationsnetzwerk und Feature -Domain -Lernen. Wissenschaftliche Berichte. Wissenschaftliche Berichte, 14 (1), 10991 .