fastMRI

fastmri

Situs web | Dataset | GitHub | Publikasi

Accelerating Magnetic Resonance Imaging (MRI) dengan memperoleh lebih sedikit pengukuran memiliki potensi untuk mengurangi biaya medis, meminimalkan stres kepada pasien dan memungkinkan pencitraan MR dalam aplikasi di mana saat ini sangat lambat atau mahal.

Fastmri adalah proyek penelitian kolaboratif dari Facebook AI Research (Fair) dan NYU Langone Health untuk menyelidiki penggunaan AI untuk membuat pemindaian MRI lebih cepat. NYU Langone Health telah merilis set data MRI lutut dan otak yang dianonimkan sepenuhnya yang dapat diunduh dari halaman Dataset Fastmri. Publikasi yang terkait dengan proyek Fastmri dapat ditemukan di akhir Readme ini.

Repositori ini berisi loader data Pytorch yang nyaman, fungsi subsampling, metrik evaluasi, dan implementasi referensi metode baseline sederhana. Ini juga berisi implementasi untuk metode dalam beberapa publikasi proyek Fastmri.

Dokumentasi

Dataset Fastmri

Ada beberapa publikasi yang menggambarkan berbagai subkomponen data (misalnya, otak vs lutut) dan garis dasar terkait. Semua data FastMri dapat diunduh dari halaman Dataset Fastmri.

• Ringkasan Proyek, Dataset, Baselines: FastMRI: Dataset Terbuka dan tolok ukur untuk MRI yang dipercepat ({J. Zbontar*, F. Knoll*, A. Sriram*} et al., 2018)

• Data lutut: FastMRI: SPACE RAW RAW dan DICOM Dataset gambar lutut untuk rekonstruksi gambar MR yang dipercepat menggunakan pembelajaran mesin ({F. Knoll*, J. Zbontar*} et al., 2020)

• Properti Dataset Otak: Bahan Tambahan Hasil Tantangan Fastmri 2020 untuk Pembelajaran Mesin MR Rekonstruksi Gambar ({M. Muckley*, B. Riemenschneider*} et al., 2021)

• Data prostat: Fastmri Prostate: Dataset MRI biparametrik yang tersedia untuk umum untuk memajukan pembelajaran mesin untuk pencitraan kanker prostat (Tibrewala et al., 2023)

Repositori Kode

Untuk dokumentasi kode, sebagian besar fungsi dan kelas memiliki dokumen yang menyertai yang dapat Anda akses melalui fungsi help di Ipython. Misalnya:

 from fastmri . data import SliceDataset

help ( SliceDataset )

Ketergantungan dan instalasi

Catatan: Kontribusi pada kode terus diuji melalui tindakan GitHub. Jika Anda menghadapi masalah, hal pertama terbaik yang harus dilakukan adalah mencoba mencocokkan lingkungan tests di setup.cfg , misalnya, pip install --editable ".[tests]" saat menginstal dari sumber.

CATATAN: Seperti yang didokumentasikan dalam Edisi 215, saat ini ada kebocoran memori saat menggunakan h5py yang diinstal dari pip dan mengonversi ke torch.Tensor . Untuk menghindari kebocoran, Anda perlu menggunakan h5py dengan versi HDF5 sebelum 1.12.1. Pada 16 Februari 2022, versi conda dari h5py 3.6.0 menggunakan HDF5 1.10.6, yang menghindari kebocoran.

Pertama -tama instal Pytorch sesuai dengan arahan di situs web Pytorch untuk sistem operasi Anda dan pengaturan CUDA. Lalu, jalankan

pip install fastmri

pip akan menangani semua dependensi paket. Setelah ini, Anda harus dapat menjalankan sebagian besar kode di repositori.

Menginstal langsung dari sumber

Jika Anda ingin menginstal langsung dari sumber GitHub, klon repositori, navigasikan ke direktori root fastmri dan jalankan

pip install -e . 

Struktur & Penggunaan Paket

Repositori berpusat di sekitar modul fastmri . Berikut ini meruntuhkan struktur dasar:

fastmri : Berisi sejumlah alat dasar untuk matematika bilangan kompleks, kombinasi koil, dll.

• fastmri.data : Berisi fungsi utilitas data dari folder data asli yang dapat digunakan untuk membuat topeng pengambilan sampel dan file pengiriman.
• fastmri.models : Berisi model rekonstruksi, seperti U-Net dan Varnet.
• fastmri.pl_modules : Modul Petir Pytorch untuk pemuatan data, pelatihan, dan penebangan.

Contoh dan reproduktifitas

Folder fastmri_examples dan banding_removal menyertakan kode untuk reproduktifitas. Model baseline digunakan dalam kertas Arxiv.

Ringkasan singkat implementasi berdasarkan makalah dengan tautan ke kode berikut. Untuk kelengkapan kami juga menyebutkan pekerjaan tentang akuisisi aktif, yang di -host di repositori lain.

• Model Baseline

  • Contoh yang dipenuhi nol untuk menyimpan gambar untuk pengiriman papan peringkat
  • Espirit - Pendekatan nilai eigen untuk Autocalibrating MRI paralel: Di mana Sense bertemu Grappa (M. Uecker et al., 2013)
  • U-Net: Jaringan Konvolusional untuk Segmentasi Gambar Biomedis (O. Ronneberger et al., 2015)

• Koreksi pengambilan sampel, rekonstruksi dan artefak

  • Pengambilan sampel offset meningkatkan rekonstruksi MRI yang dipercepat dengan pembelajaran dengan mengeksploitasi simetri (A. Defazio, 2019)
  • Jaringan variasional ujung ke ujung untuk rekonstruksi MRI yang dipercepat ({A. Sriram*, J. Zbontar*} et al., 2020)
  • Penghapusan Banding MRI Melalui Pelatihan Perselisihan (A. Defazio, et al., 2020)
  • Rekonstruksi pembelajaran mendalam memungkinkan MRI lutut klinis yang dipercepat secara prospektif (P. Johnson et al., 2023)
  • Rekonstruksi MRI yang dipercepat melalui jaringan variasional dan pembelajaran domain fitur (I. Giannakopoulos et al., 2024)

• Akuisisi Aktif

  • (Repositori Eksternal) Mengurangi Ketidakpastian dalam Rekonstruksi MRI yang Diperlukan Dengan Akuisisi Aktif (Z. Zhang et al., 2019)
  • (Repositori Eksternal) Pengambilan sampel MR K-space aktif dengan pembelajaran penguatan (L. Pineda et al., 2020)
  • Tentang Pembelajaran Kebijakan Akuisisi Adaptif Untuk Rekonstruksi MRI Multi-Koil yang Diperlukan (T. Bakker et al., 2022)

• Data prostat

  • (Respositori Eksternal) Fastmri Prostate: Dataset MRI biparametrik yang tersedia untuk umum untuk memajukan pembelajaran mesin untuk pencitraan kanker prostat (Tibrewala et al., 2023)

Pengujian

Jalankan pytest tests . Secara default tes integrasi yang menggunakan data FastMRI dilewati. Jika Anda ingin menjalankan tes ini, atur SKIP_INTEGRATIONS ke False di conftest.

Melatih model

Data ReadMe memiliki contoh telanjang untuk cara memuat data dan menggabungkan transformasi data. Notebook Jupyter ini berisi tutorial sederhana yang menjelaskan cara mulai bekerja dengan data.

Silakan lihat skrip demo U-Net ini untuk contoh cara melatih model menggunakan kerangka kerja Pytorch Lightning.

Mengirimkan ke papan peringkat

PEMBERITAHUAN: Seperti yang didokumentasikan dalam diskusi 293, domain fastmri.org ditransfer dari kepemilikan meta ke kepemilikan NYU pada 2023-04-17, dan NYU belum membangun kembali situs tersebut. Sampai situs dan pemimpin yang dibangun kembali oleh NYU, papan peringkat tidak akan tersedia. Mitigasi disajikan dalam diskusi 293.

Lisensi

Fastmri berlisensi MIT, seperti yang ditemukan dalam file lisensi.

Mengutip

Jika Anda menggunakan data atau kode FastMri dalam proyek Anda, silakan kutip kertas Arxiv:

 @misc { zbontar2018fastMRI ,
    title = { {fastMRI}: An Open Dataset and Benchmarks for Accelerated {MRI} } ,
    author = { Jure Zbontar and Florian Knoll and Anuroop Sriram and Tullie Murrell and Zhengnan Huang and Matthew J. Muckley and Aaron Defazio and Ruben Stern and Patricia Johnson and Mary Bruno and Marc Parente and Krzysztof J. Geras and Joe Katsnelson and Hersh Chandarana and Zizhao Zhang and Michal Drozdzal and Adriana Romero and Michael Rabbat and Pascal Vincent and Nafissa Yakubova and James Pinkerton and Duo Wang and Erich Owens and C. Lawrence Zitnick and Michael P. Recht and Daniel K. Sodickson and Yvonne W. Lui } ,
    journal = { ArXiv e-prints } ,
    archivePrefix = " arXiv " ,
    eprint = { 1811.08839 } ,
    year = { 2018 }
}

Jika Anda menggunakan data atau kode prostat fastmri dalam proyek Anda, silakan kutip kertas itu:

 @misc { tibrewala2023fastmri ,
  title = { {FastMRI Prostate}: A Publicly Available, Biparametric {MRI} Dataset to Advance Machine Learning for Prostate Cancer Imaging } ,
  author = { Tibrewala, Radhika and Dutt, Tarun and Tong, Angela and Ginocchio, Luke and Keerthivasan, Mahesh B and Baete, Steven H and Chopra, Sumit and Lui, Yvonne W and Sodickson, Daniel K and Chandarana, Hersh and Johnson, Patricia M } ,
  journal = { ArXiv e-prints } ,
  archivePrefix = " arXiv " ,
  eprint = { 2304.09254 } ,
  year = { 2023 }
}

Daftar Makalah

Daftar judul makalah berikut dari Proyek Fastmri. Abstrak yang sesuai, serta tautan ke pracetak dan kode dapat ditemukan di sini.

1. Zbontar, J.*, Knoll, F.*, Sriram, A.*, Murrell, T., Huang, Z., Muckley, MJ, ... & Lui, YW (2018). Fastmri: Dataset terbuka dan tolok ukur untuk MRI yang dipercepat. ARXIV Preprint ARXIV: 1811.08839 .
2. Zhang, Z., Romero, A., Muckley, MJ, Vincent, P., Yang, L., & Drozdzal, M. (2019). Mengurangi ketidakpastian dalam rekonstruksi MRI yang tidak diampelas dengan akuisisi aktif. Di CVPR , halaman 2049-2058.
3. Defazio, A. (2019). Pengambilan sampel offset meningkatkan rekonstruksi MRI yang dipercepat berbasis pembelajaran dengan mengeksploitasi simetri. ARXIV Preprint, Arxiv: 1912.01101 .
4. Knoll, F.*, Zbontar, J.*, Sriram, A., Muckley, MJ, Bruno, M., DeFazio, A., ... & Lui, YW (2020). FastMRI: Dataset K-space dan DICOM yang tersedia untuk umum untuk rekonstruksi gambar MR yang dipercepat menggunakan pembelajaran mesin. Radiologi: Kecerdasan Buatan , 2 (1), halaman E190007.
5. Knoll, F.*, Murrell, T.*, Sriram, A.*, Yakubova, N., Zbontar, J., Rabbat, M., ... & Recht, MP (2020). Memajukan Pembelajaran Mesin untuk Rekonstruksi Gambar MR dengan kompetisi terbuka: Tinjauan Tantangan FastMRI 2019. Resonansi Magnetik dalam Kedokteran , 84 (6), halaman 3054-3070.
6. Sriram, A., Zbontar, J., Murrell, T., Zitnick, CL, DeFazio, A., & Sodickson, DK (2020). Grappanet: Menggabungkan pencitraan paralel dengan pembelajaran mendalam untuk rekonstruksi MRI multi-koil. Di CVPR , halaman 14315-14322.
7. Recht, MP, Zbontar, J., Sodickson, DK, Knoll, F., Yakubova, N., Sriram, A., ... & Zitnick, Cl (2020). Menggunakan pembelajaran yang mendalam untuk mempercepat MRI lutut di 3T: Hasil dari studi yang dapat dipertukarkan. American Journal of Roentgenology , 215 (6), halaman 1421-1429.
8. Pineda, L., Basu, S., Romero, A., Calandra, R., & Drozdzal, M. (2020). Pengambilan sampel MR K-space aktif dengan pembelajaran penguatan. Di Miccai , halaman 23-33.
9. Sriram, A.*, Zbontar, J.*, Murrell, T., DeFazio, A., Zitnick, CL, Yakubova, N., ... & Johnson, P. (2020). Jaringan variasional ujung ke ujung untuk rekonstruksi MRI yang dipercepat. Di Miccai , halaman 64-73.
10. DeFazio, A., Murrell, T., & Recht, MP (2020). Penghapusan Banding MRI melalui pelatihan permusuhan. Dalam kemajuan dalam sistem pemrosesan informasi saraf , 33, halaman 7660-7670.
11. Muckley, MJ*, Riemenschneider, B.*, Radmanesh, A., Kim, S., Jeong, G., Ko, J., ... & Knoll, F. (2021). Hasil dari 2020 Fastmri Challenge untuk pembelajaran mesin MR Rekonstruksi. Transaksi IEEE pada Pencitraan Medis , 40 (9), halaman 2306-2317.
12. Johnson, PM, Jeong, G., Hammernik, K., Schlemper, J., Qin, C., Duan, J., ..., & Knoll, F. (2021). Evaluasi kekokohan rekonstruksi gambar MR yang dipelajari untuk penyimpangan sistematis antara pelatihan dan data uji untuk model dari FastMri Challenge. Dalam lokakarya Miccai Mlmir , halaman 25–34,
13. Bakker, T., Muckley, MJ, Romero-Soriano, A., Drozdzal, M. & Pineda, L. (2022). Tentang pembelajaran kebijakan akuisisi adaptif untuk rekonstruksi MRI multi-koil yang tidak terkurung. Di Midl , halaman 63-85.
14. Radmanesh, A.*, Muckley, MJ*, Murrell, T., Lindsey, E., Sriram, A., Knoll, F., ... & Lui, YW (2022). Menjelajahi batas akselerasi MRI otak dua dimensi berbasis varnet berbasis varnet. Radiologi: Kecerdasan Buatan , 4 (6), halaman E210313.
15. Johnson, PM, Lin, DJ, Zbontar, J., Zitnick, CL, Sriram, A., Muckley, M., Babb, JS, Kline, M., Ciavarra, G., Alaia, E., ..., & Knoll, F. (2023). Rekonstruksi pembelajaran yang mendalam memungkinkan MRI lutut klinis yang dipercepat secara prospektif. Radiologi , 307 (2), halaman E220425.
16. Tibrewala, R., Dutt, T., Tong, A., Ginocchio, L., Keerthivasan, MB, Baete, SH, Lui, YW, Sodickson, DK, Chandarana, H., Johnson, PM (2023). Fastmri Prostate: Dataset MRI biparametrik yang tersedia untuk umum untuk memajukan pembelajaran mesin untuk pencitraan kanker prostat. ARXIV Preprint, Arxiv: 2034.09254 .
17. Giannakopoulos, II, Muckley, MJ, Kim, J., Breen, M., Johnson, PM, Lui, YW, Lattanzi, R. (2024). Rekonstruksi MRI yang dipercepat melalui jaringan variasional dan pembelajaran domain fitur. Laporan Ilmiah. Laporan Ilmiah, 14 (1), 10991 .