fastMRI

Fastmri

เว็บไซต์ | ชุดข้อมูล GitHub | สิ่งพิมพ์

การเร่งการถ่ายภาพด้วยคลื่นสนามแม่เหล็ก (MRI) โดยการรับการวัดที่น้อยลงมีศักยภาพในการลดค่าใช้จ่ายทางการแพทย์ลดความเครียดให้กับผู้ป่วยและทำให้การถ่ายภาพ MR เป็นไปได้ในการใช้งานที่ปัจจุบันช้าหรือมีราคาแพง

FastMri เป็นโครงการวิจัยความร่วมมือจาก Facebook AI Research (FAIR) และ NYU Langone Health เพื่อตรวจสอบการใช้ AI เพื่อให้ MRI สแกนเร็วขึ้น NYU Langone Health ได้เปิดตัวชุดข้อมูลหัวเข่าและสมอง MRI ที่ไม่ระบุชื่ออย่างสมบูรณ์ซึ่งสามารถดาวน์โหลดได้จากหน้าชุดข้อมูล FastMRI สิ่งพิมพ์ที่เกี่ยวข้องกับโครงการ FastMRI สามารถพบได้ในตอนท้ายของ readMe นี้

พื้นที่เก็บข้อมูลนี้มีรถตักข้อมูล pytorch ที่สะดวกฟังก์ชั่นการสุ่มตัวอย่างตัวชี้วัดการประเมินผลและการใช้งานอ้างอิงของวิธีพื้นฐานง่ายๆ นอกจากนี้ยังมีการใช้งานสำหรับวิธีการในบางสิ่งพิมพ์ของโครงการ FastMRI

เอกสาร

ชุดข้อมูล fastmri

มีสิ่งพิมพ์หลายฉบับที่อธิบายถึงส่วนประกอบย่อยที่แตกต่างกันของข้อมูล (เช่นสมองกับหัวเข่า) และเส้นเขตแดนที่เกี่ยวข้อง ข้อมูล FastMRI ทั้งหมดสามารถดาวน์โหลดได้จากหน้าชุดข้อมูล FastMRI

• สรุปโครงการ, ชุดข้อมูล, baselines: fastmri: ชุดข้อมูลและมาตรฐานเปิดสำหรับ MRI เร่งความเร็ว ({J. Zbontar*, F. Knoll*, A. Sriram*} et al., 2018)

• ข้อมูลหัวเข่า: FastMri: ชุดข้อมูล K-space และ DICOM ที่เปิดเผยต่อสาธารณะของภาพเข่าสำหรับการสร้างภาพ MR แบบเร่งความเร็วโดยใช้การเรียนรู้ของเครื่อง ({F. Knoll*, J. Zbontar*} et al., 2020)

• คุณสมบัติชุดข้อมูลสมอง: วัสดุเสริมของผลลัพธ์ของความท้าทาย FastMri 2020 สำหรับการเรียนรู้ของเครื่องจักรการสร้างภาพ MR ({M. Muckley*, B. Riemenschneider*} et al., 2021)

• ข้อมูลต่อมลูกหมาก: FastMri ต่อมลูกหมาก: ชุดข้อมูล MRI ของ Biparametric ที่เปิดเผยต่อสาธารณะเพื่อการเรียนรู้การถ่ายภาพมะเร็งต่อมลูกหมาก (Tibrewala et al., 2023)

ที่เก็บรหัส

สำหรับเอกสารรหัสฟังก์ชั่นและคลาสส่วนใหญ่มีเอกสารประกอบที่คุณสามารถเข้าถึงได้ผ่านฟังก์ชั่นวิธี help ใน ipython ตัวอย่างเช่น:

 from fastmri . data import SliceDataset

help ( SliceDataset )

การพึ่งพาและการติดตั้ง

หมายเหตุ: การมีส่วนร่วมในรหัสได้รับการทดสอบอย่างต่อเนื่องผ่านการกระทำของ GitHub หากคุณพบปัญหาสิ่งแรกที่ดีที่สุดที่ต้องทำคือพยายามจับคู่สภาพแวดล้อม tests ใน setup.cfg เช่น pip install --editable ".[tests]" เมื่อติดตั้งจากแหล่งที่มา

หมายเหตุ: ตามที่บันทึกไว้ในปัญหา 215 ปัจจุบันมีการรั่วไหลของหน่วยความจำเมื่อใช้ h5py ติดตั้งจาก pip และแปลงเป็น torch.Tensor เพื่อหลีกเลี่ยงการรั่วไหลคุณต้องใช้ h5py กับ HDF5 รุ่นก่อน 1.12.1 ณ วันที่ 16 กุมภาพันธ์ 2565 conda h5py 3.6.0 ใช้ HDF5 1.10.6 รุ่น H5PY 3.6.0 ซึ่งหลีกเลี่ยงการรั่วไหล

แรกติดตั้ง pytorch ตามคำแนะนำที่เว็บไซต์ Pytorch สำหรับระบบปฏิบัติการและการตั้งค่า CUDA ของคุณ จากนั้นเรียกใช้

pip install fastmri

pip จะจัดการกับการพึ่งพาแพ็คเกจทั้งหมด หลังจากนี้คุณควรจะสามารถเรียกใช้รหัสส่วนใหญ่ในที่เก็บ

การติดตั้งโดยตรงจากแหล่งที่มา

หากคุณต้องการติดตั้งโดยตรงจากแหล่ง GitHub ให้โคลนที่เก็บนำไปยังไดเรกทอรีราก fastmri และเรียกใช้

pip install -e . 

โครงสร้างแพ็คเกจและการใช้งาน

ที่เก็บจะอยู่กึ่งกลางรอบโมดูล fastmri ต่อไปนี้แบ่งโครงสร้างพื้นฐาน:

fastmri : มีเครื่องมือพื้นฐานจำนวนมากสำหรับคณิตศาสตร์จำนวนที่ซับซ้อนการรวมกันของคอยล์ ฯลฯ

• fastmri.data : มีฟังก์ชั่นยูทิลิตี้ข้อมูลจากโฟลเดอร์ data ดั้งเดิมที่สามารถใช้ในการสร้างมาสก์การสุ่มตัวอย่างและไฟล์การส่ง
• fastmri.models : มีโมเดลการสร้างใหม่เช่น U-NET และ VARNET
• fastmri.pl_modules : โมดูล Pytorch Lightning สำหรับการโหลดข้อมูลการฝึกอบรมและการบันทึก

ตัวอย่างและการทำซ้ำ

โฟลเดอร์ fastmri_examples และ banding_removal รวมถึงรหัสสำหรับการทำซ้ำ แบบจำลองพื้นฐานถูกใช้ในกระดาษ arxiv

สรุปโดยย่อของการใช้งานตามเอกสารที่มีลิงก์ไปยังรหัสดังต่อไปนี้ เพื่อความสมบูรณ์เรายังพูดถึงงานเกี่ยวกับการซื้อกิจการที่ใช้งานอยู่ซึ่งโฮสต์ในที่เก็บอื่น

• รุ่นพื้นฐาน

  • ตัวอย่างที่เต็มไปด้วยศูนย์สำหรับการบันทึกภาพสำหรับการส่งกระดานผู้นำ
  • Espirit - วิธีการแบบ eigenvalue ในการปรับเปลี่ยน MRI แบบขนาน autocalibling: ความรู้สึกที่ตรงกับ Grappa (M. Uecker et al., 2013)
  • U-Net: เครือข่าย Convolutional สำหรับการแบ่งส่วนภาพชีวการแพทย์ (O. Ronneberger et al., 2015)

• การสุ่มตัวอย่างการสร้างใหม่และการแก้ไขสิ่งประดิษฐ์

  • การสุ่มตัวอย่างแบบออฟเซ็ตช่วยปรับปรุงการสร้าง MRI แบบเร่งการเรียนรู้อย่างลึกซึ้งโดยใช้ประโยชน์จากความสมมาตร (A. DeFazio, 2019)
  • เครือข่าย variational แบบ end-to-end สำหรับการสร้าง MRI แบบเร่งความเร็ว ({A. Sriram*, J. Zbontar*} et al., 2020)
  • การกำจัดแถบแถบ MRI ผ่านการฝึกอบรมฝ่ายตรงข้าม (A. DeFazio, et al., 2020)
  • การฟื้นฟูการเรียนรู้อย่างลึกซึ้งช่วยให้สามารถเร่งหัวเข่าคลินิก MRI ได้อย่างคาดหวัง (P. Johnson et al., 2023)
  • เร่งการสร้าง MRI ผ่านเครือข่าย Variational และการเรียนรู้โดเมนคุณสมบัติ (I. Giannakopoulos et al., 2024)

• การซื้อกิจการที่ใช้งานอยู่

  • (พื้นที่เก็บข้อมูลภายนอก) ลดความไม่แน่นอนในการสร้าง MRI แบบไม่ได้รับการสุ่มตัวอย่างด้วยการซื้อกิจการที่ใช้งานอยู่ (Z. Zhang et al., 2019)
  • (ที่เก็บภายนอก) การสุ่มตัวอย่าง MR K-space ที่ใช้งานอยู่พร้อมการเรียนรู้เสริมแรง (L. Pineda et al., 2020)
  • เกี่ยวกับการเรียนรู้นโยบายการได้มาซึ่งการปรับตัวสำหรับการสร้าง MRI แบบหลายคอลด์แบบไม่ต่อเนื่อง (T. Bakker et al., 2022)

• ข้อมูลต่อมลูกหมาก

  • (การตอบสนองภายนอก) FastMRI ต่อมลูกหมาก: ชุดข้อมูล MRI แบบเปิดเผยต่อสาธารณชนที่เปิดเผยต่อสาธารณะเพื่อการเรียนรู้ของเครื่องจักรสำหรับการถ่ายภาพมะเร็งต่อมลูกหมาก (Tibrewala et al., 2023)

การทดสอบ

เรียกใช้ pytest tests โดยการทดสอบการรวมค่าเริ่มต้นที่ใช้ข้อมูล FastMRI จะถูกข้ามไป หากคุณต้องการเรียกใช้การทดสอบเหล่านี้ให้ตั้ง SKIP_INTEGRATIONS เป็น False ใน conftest

การฝึกอบรมแบบจำลอง

Data ReadMe มีตัวอย่างกระดูกเปลือยสำหรับวิธีการโหลดข้อมูลและรวมการแปลงข้อมูล สมุดบันทึก Jupyter นี้มีบทช่วยสอนง่ายๆอธิบายวิธีเริ่มต้นทำงานกับข้อมูล

โปรดดูสคริปต์ตัวอย่าง U-Net นี้เพื่อเป็นตัวอย่างของวิธีการฝึกอบรมแบบจำลองโดยใช้เฟรมเวิร์ก Pytorch Lightning

ส่งไปยังกระดานผู้นำ

ข้อสังเกต: ตามที่บันทึกไว้ในการอภิปราย 293 โดเมน FastMri.org ถูกถ่ายโอนจากการเป็นเจ้าของเมตาไปเป็นเจ้าของ NYU ในปี 2023-04-17 และ NYU ยังไม่ได้สร้างเว็บไซต์ใหม่ จนกว่าไซต์และผู้นำจะถูกสร้างขึ้นใหม่โดย NYU กระดานผู้นำจะไม่สามารถใช้งานได้ การบรรเทาผลกระทบจะถูกนำเสนอในการสนทนา 293

ใบอนุญาต

FastMri ได้รับใบอนุญาต MIT ตามที่พบในไฟล์ใบอนุญาต

อ้างถึง

หากคุณใช้ข้อมูลหรือรหัส FastMRI ในโครงการของคุณโปรดอ้างอิงกระดาษ Arxiv:

 @misc { zbontar2018fastMRI ,
    title = { {fastMRI}: An Open Dataset and Benchmarks for Accelerated {MRI} } ,
    author = { Jure Zbontar and Florian Knoll and Anuroop Sriram and Tullie Murrell and Zhengnan Huang and Matthew J. Muckley and Aaron Defazio and Ruben Stern and Patricia Johnson and Mary Bruno and Marc Parente and Krzysztof J. Geras and Joe Katsnelson and Hersh Chandarana and Zizhao Zhang and Michal Drozdzal and Adriana Romero and Michael Rabbat and Pascal Vincent and Nafissa Yakubova and James Pinkerton and Duo Wang and Erich Owens and C. Lawrence Zitnick and Michael P. Recht and Daniel K. Sodickson and Yvonne W. Lui } ,
    journal = { ArXiv e-prints } ,
    archivePrefix = " arXiv " ,
    eprint = { 1811.08839 } ,
    year = { 2018 }
}

หากคุณใช้ข้อมูลหรือรหัสต่อมลูกหมาก fastmri ในโครงการของคุณโปรดอ้างอิงกระดาษนั้น:

 @misc { tibrewala2023fastmri ,
  title = { {FastMRI Prostate}: A Publicly Available, Biparametric {MRI} Dataset to Advance Machine Learning for Prostate Cancer Imaging } ,
  author = { Tibrewala, Radhika and Dutt, Tarun and Tong, Angela and Ginocchio, Luke and Keerthivasan, Mahesh B and Baete, Steven H and Chopra, Sumit and Lui, Yvonne W and Sodickson, Daniel K and Chandarana, Hersh and Johnson, Patricia M } ,
  journal = { ArXiv e-prints } ,
  archivePrefix = " arXiv " ,
  eprint = { 2304.09254 } ,
  year = { 2023 }
}

รายการเอกสาร

รายการชื่อเรื่องของเอกสารจากโครงการ FastMri บทคัดย่อที่สอดคล้องกันรวมถึงลิงก์ไปยัง preprints และรหัสสามารถดูได้ที่นี่

1. Zbontar, J.*, Knoll, F.*, Sriram, A.*, Murrell, T. , Huang, Z. , Muckley, MJ, ... & Lui, YW (2018) FastMri: ชุดข้อมูลและการเปรียบเทียบสำหรับ MRI เร่งความเร็ว arxiv preprint arxiv: 1811.08839
2. จาง, Z. , Romero, A. , Muckley, MJ, Vincent, P. , Yang, L. , & Drozdzal, M. (2019) ลดความไม่แน่นอนในการสร้าง MRI แบบไม่ได้รับการสุ่มตัวอย่างด้วยการซื้อกิจการที่ใช้งานอยู่ ใน CVPR หน้า 2049-2551
3. Defazio, A. (2019) การสุ่มตัวอย่างแบบออฟเซ็ตช่วยปรับปรุงการสร้าง MRI แบบเร่งการเรียนรู้อย่างลึกซึ้งโดยใช้การใช้ประโยชน์จากความสมมาตร arxiv preprint, arxiv: 1912.01101
4. Knoll, F.*, Zbontar, J.*, Sriram, A. , Muckley, MJ, Bruno, M. , Defazio, A. , ... & Lui, YW (2020) FastMri: ชุดข้อมูล K-space และ DICOM ที่เปิดเผยต่อสาธารณะของภาพเข่าสำหรับการสร้างภาพ MR แบบเร่งความเร็วโดยใช้การเรียนรู้ของเครื่อง รังสีวิทยา: ปัญญาประดิษฐ์ , 2 (1), หน้า E190007
5. Knoll, F.*, Murrell, T.*, Sriram, A.*, Yakubova, N. , Zbontar, J. , Rabbat, M. , ... & Recht, MP (2020) การเรียนรู้ของเครื่องจักรขั้นสูงสำหรับการสร้างภาพ MR ด้วยการแข่งขันแบบเปิด: ภาพรวมของการท้าทาย FastMRI 2019 เรโซแนนซ์แม่เหล็กในการแพทย์ , 84 (6), หน้า 3054-3070
6. Sriram, A. , Zbontar, J. , Murrell, T. , Zitnick, CL, Defazio, A. , & Sodickson, DK (2020) Grappanet: การรวมการถ่ายภาพแบบขนานเข้ากับการเรียนรู้อย่างลึกซึ้งสำหรับการสร้าง MRI แบบหลายวัน ใน CVPR หน้า 14315-14322
7. Recht, MP, Zbontar, J. , Sodickson, DK, Knoll, F. , Yakubova, N. , Sriram, A. , ... & Zitnick, CL (2020) การใช้การเรียนรู้อย่างลึกซึ้งเพื่อเร่งความเร็ว MRI ที่ 3T: ผลลัพธ์ของการศึกษาการแลกเปลี่ยนความสามารถ วารสาร American of Roentgenology , 215 (6), หน้า 1421-1429
8. Pineda, L. , Basu, S. , Romero, A. , Calandra, R. , & Drozdzal, M. (2020) การสุ่มตัวอย่าง MR K-SPACE ที่ใช้งานด้วยการเรียนรู้เสริมแรง ใน Miccai หน้า 23-33
9. Sriram, A.*, Zbontar, J.*, Murrell, T. , Defazio, A. , Zitnick, CL, Yakubova, N. , ... & Johnson, P. (2020) เครือข่าย Variational แบบ end-to-end สำหรับการสร้าง MRI แบบเร่งความเร็ว ใน Miccai หน้า 64-73
10. Defazio, A. , Murrell, T. , & Recht, MP (2020) การกำจัดแถบแถบ MRI ผ่านการฝึกอบรมฝ่ายตรงข้าม ใน ความก้าวหน้าในระบบการประมวลผลข้อมูลระบบประสาท , 33, หน้า 7660-7670
11. Muckley, MJ*, Riemenschneider, B.*, Radmanesh, A. , Kim, S. , Jeong, G. , Ko, J. , ... & Knoll, F. (2021) ผลลัพธ์ของความท้าทาย FastMRI 2020 สำหรับการเรียนรู้ของเครื่องจักรการสร้างภาพ MR ธุรกรรม IEEE เกี่ยวกับการถ่ายภาพทางการแพทย์ , 40 (9), หน้า 2306-2317
12. Johnson, PM, Jeong, G. , Hammernik, K. , Schlemper, J. , Qin, C. , Duan, J. , ... , & Knoll, F. (2021) การประเมินความทนทานของการสร้างภาพ MR ที่เรียนรู้ไปสู่การเบี่ยงเบนอย่างเป็นระบบระหว่างการฝึกอบรมและข้อมูลการทดสอบสำหรับแบบจำลองจากความท้าทาย FastMRI ใน การประชุมเชิงปฏิบัติการ Miccai MLMIR หน้า 25–34
13. Bakker, T. , Muckley, MJ, Romero-Soriano, A. , Drozdzal, M. & Pineda, L. (2022) ในการเรียนรู้นโยบายการได้มาซึ่งการปรับตัวสำหรับการสร้าง MRI แบบหลายตัว ใน ช่วงกลาง หน้า 63-85
14. Radmanesh, A.*, Muckley, MJ*, Murrell, T. , Lindsey, E. , Sriram, A. , Knoll, F. , ... & Lui, YW (2022) การสำรวจขีด จำกัด การเร่งความเร็วของการเรียนรู้อย่างลึกล้ำ MRI สมองสองมิติที่ใช้ Varnet รังสีวิทยา: ปัญญาประดิษฐ์ , 4 (6), หน้า E210313
15. Johnson, PM, Lin, DJ, Zbontar, J. , Zitnick, CL, Sriram, A. , Muckley, M. , Babb, JS, Kline, M. , Ciavarra, G. , Alaia, E. , ... , & Knoll, F. (2023) การฟื้นฟูการเรียนรู้อย่างลึกซึ้งช่วยให้สามารถเร่งหัวเข่าคลินิก MRI ได้อย่างคาดไม่ถึง รังสีวิทยา , 307 (2), หน้า E220425
16. Tibrewala, R. , Dutt, T. , Tong, A. , Ginocchio, L. , Keerthivasan, MB, Baete, SH, Lui, YW, Sodickson, DK, Chandarana, H. , Johnson, PM (2023) FastMri ต่อมลูกหมาก: ชุดข้อมูล MRI แบบเปิดเผยต่อสาธารณะเพื่อการเรียนรู้ของเครื่องจักรสำหรับการถ่ายภาพมะเร็งต่อมลูกหมาก arxiv preprint, arxiv: 2034.09254
17. Giannakopoulos, II, Muckley, MJ, Kim, J. , Breen, M. , Johnson, PM, Lui, YW, Lattanzi, R. (2024) เร่งการสร้าง MRI ผ่านเครือข่าย Variational และการเรียนรู้โดเมนคุณสมบัติ รายงานทางวิทยาศาสตร์ รายงานทางวิทยาศาสตร์, 14 (1), 10991