Awesome Distributed Deep Learning

การเรียนรู้ที่ลึกซึ้งแจกจ่าย

รายการทรัพยากรการเรียนรู้ที่ลึกซึ้งที่ได้รับการคัดสรรมาอย่างดี

สารบัญ

เฟรมเวิร์ก

บล็อก

เอกสาร

หนังสือ

เฟรมเวิร์ก

1. MXNET - การเรียนรู้ที่มีน้ำหนักเบา, พกพา, แบบกระจาย/มือถือที่มีความยืดหยุ่นด้วยการจัดตาราง DEP DATEFLOW แบบไดนามิก, การกลายพันธุ์, การกลายพันธุ์ สำหรับ Python, R, Julia, Go, JavaScript และอีกมากมาย
2. go-mxnet-predictor-ไปผูกพันสำหรับ mxnet c_predict_api เพื่อทำการอนุมานกับแบบจำลองที่ผ่านการฝึกอบรมมาก่อน
3. Deeplearning4J - แจกแพลตฟอร์มการเรียนรู้ลึกสำหรับ Java, Clojure, Scala
4. ชุดเครื่องมือการเรียนรู้ของเครื่องกระจาย (DMTK) - กรอบการเรียนรู้ของเครื่องกระจาย (พารามิเตอร์เซิร์ฟเวอร์) โดย Microsoft เปิดใช้งานรูปแบบการฝึกอบรมเกี่ยวกับชุดข้อมูลขนาดใหญ่ในหลายเครื่อง เครื่องมือปัจจุบันที่มาพร้อมกับ: Lightlda และ Distributed (Multisense) การฝังคำ
5. Elephas - Elephas เป็นส่วนขยายของ Keras ซึ่งช่วยให้คุณสามารถเรียกใช้แบบจำลองการเรียนรู้ที่ลึกล้ำในระดับด้วย Spark
6. Horovod - กรอบการฝึกอบรมแบบกระจายสำหรับ TensorFlow

บล็อก

1. Keras + Horovod = การเรียนรู้อย่างลึกซึ้งเกี่ยวกับสเตียรอยด์
2. Meet Horovod: Open Source ของ Uber แจกจ่ายกรอบการเรียนรู้ลึกสำหรับ TensorFlow
3. การกระจาย-ส่วนขยาย-ส่วนที่ 1-an-introduction-introduction-distributed-training-of-neural-networks/
4. เร่งการเรียนรู้อย่างลึกซึ้งโดยใช้ SGD แบบกระจาย - ภาพรวม
5. บทนำสู่ระบบการเรียนรู้เชิงลึก:

เอกสาร

ทั่วไป:

1. Demystifying คู่ขนานและกระจายการเรียนรู้อย่างลึกซึ้ง: การวิเคราะห์การทำงานร่วมกันในเชิงลึก: กล่าวถึงประเภทที่แตกต่างกันของการเกิดขึ้นพร้อมกันใน DNNs; การไล่ระดับสีแบบสุ่มแบบซิงโครนัสและอะซิงโครนัส สถาปัตยกรรมระบบแบบกระจาย แผนการสื่อสาร; และการสร้างแบบจำลองประสิทธิภาพ จากวิธีการเหล่านี้มันยังคาดการณ์ทิศทางที่เป็นไปได้สำหรับการขนานในการเรียนรู้อย่างลึกซึ้ง

หนังสือ

1. รูปแบบการเรียนรู้ของเครื่องกระจาย: หนังสือเล่มนี้สอนวิธีการใช้รูปแบบการเรียนรู้ของเครื่องจากแล็ปท็อปส่วนตัวของคุณไปยังกลุ่มกระจายขนาดใหญ่ คุณจะสำรวจแนวคิดและรูปแบบที่สำคัญที่อยู่เบื้องหลังระบบการเรียนรู้ของเครื่องกระจายที่ประสบความสำเร็จและเรียนรู้เทคโนโลยีเช่น TensorFlow, Kubernetes, Kubeflow และ Workflow Argo โดยตรงจากผู้ดูแลและผู้สนับสนุนหลัก

แบบจำลองความสอดคล้อง:

การซิงโครไนซ์:

เทคนิคแบบซิงโครนัส:

1. การเรียนรู้อย่างลึกซึ้งด้วยระบบ COTS HPC: เทคโนโลยีการคำนวณประสิทธิภาพสูงนอกชั้นวาง (COTS HPC) ซึ่งเป็นกลุ่มของเซิร์ฟเวอร์ GPU ที่มีการเชื่อมต่อระหว่าง Infiniband Infiniband และ MPI
2. Firecaffe: การเร่งความเร็วใกล้กับการฝึกอบรมเครือข่ายประสาทลึกเกี่ยวกับกลุ่มการคำนวณ: ความเร็วและความสามารถในการปรับขนาดของอัลกอริทึมแบบกระจายมักถูก จำกัด โดยค่าใช้จ่ายของการสื่อสารระหว่างเซิร์ฟเวอร์; การฝึกอบรม DNN ไม่ใช่ข้อยกเว้นสำหรับกฎนี้ ดังนั้นการพิจารณาที่สำคัญบทความนี้คือการลดค่าใช้จ่ายในการสื่อสารทุกที่ที่เป็นไปได้ในขณะที่ไม่ลดความแม่นยำของโมเดล DNN ที่เราฝึกฝน
3. SparkNet: การฝึกอบรมเครือข่ายลึกใน Spark ในการประชุมนานาชาติเกี่ยวกับการเป็นตัวแทนการเรียนรู้ (ICLR)
4. SGD 1 บิต: การไล่ระดับสีแบบสุ่ม 1 บิตและการประยุกต์ใช้กับการฝึกอบรมแบบกระจายแบบขนานแบบขนานของคำพูด DNNs ใน Interspeech 2014
5. การฝึกอบรม DNN แบบกระจายที่ปรับขนาดได้โดยใช้ Commodity GPU Cloud Computing: แนะนำวิธีการใหม่สำหรับการปรับขนาดการฝึกอบรมการไล่ระดับสีแบบสโตแคสติก (SGD) แบบกระจาย (DNN) วิธีการแก้ปัญหาคอขวดการสื่อสารที่รู้จักกันดีซึ่งเกิดขึ้นสำหรับ SGD แบบขนานข้อมูลเนื่องจากโหนดการคำนวณมักจะต้องซิงโครไนซ์แบบจำลองของโมเดล
6. การฝึกอบรม Multi-GPU ของ Convnets: การฝึกอบรม Convnets ในหลาย ๆ GPU

เทคนิคการสังเคราะห์เก่า:

1. ความแม่นยำของแบบจำลองและการแลกเปลี่ยนรันไทม์ในการเรียนรู้ที่ลึกซึ้ง: การศึกษาอย่างเป็นระบบ
2. อัลกอริทึมการเรียนรู้ที่รวดเร็วสำหรับอวนความเชื่อลึก: อัลกอริทึมการเรียนรู้อย่างรวดเร็วสำหรับอวนความเชื่อลึก
3. เซิร์ฟเวอร์พารามิเตอร์แบบกระจายความหลากหลายที่รับรู้: เจ. เจียง, B. Cui, C. Zhang และ L. Yu 2017. เซิร์ฟเวอร์พารามิเตอร์แบบกระจายที่หลากหลาย ใน Proc. 2017 การประชุมนานาชาติ ACM เกี่ยวกับการจัดการข้อมูล (Sigmod '17) 463–478
4. การไล่ระดับสีแบบสุ่มแบบอะซิงโครนัสแบบอะซิงโครนัสสำหรับการเพิ่มประสิทธิภาพ nonconvex: x Lian, Y. Huang, Y. Li และ J. Liu 2015. การไล่ระดับสีแบบสุ่มแบบอะซิงโครนัสแบบอะซิงโครนัสสำหรับการเพิ่มประสิทธิภาพ nonconvex ใน Proc. 28 int'l conf บน NIPS - เล่ม 2. 2737–2745
5. Staleness-Aware Async-SGD สำหรับการเรียนรู้อย่างลึกซึ้ง: W. Zhang, S. Gupta, X. Lian และ J. Liu 2016. Staleness-Aware Async-SGD สำหรับการเรียนรู้อย่างลึกซึ้ง ใน Proc. การประชุมร่วมกันระหว่างประเทศยี่สิบห้าเรื่องเกี่ยวกับปัญญาประดิษฐ์ (ijcai'16) 2350–2356

เทคนิคแบบอะซิงโครนัส:

1. การวิเคราะห์แบบครบวงจรของ Hogwild! 2015. Taming the Wild: การวิเคราะห์แบบรวมของ Hogwild!-อัลกอริทึมสไตล์ ใน Proc. 28 int'l conf บน NIPS - เล่ม 2 2674–2682
2. เครือข่ายลึกกระจายขนาดใหญ่: J. Dean และคณะ 2012. เครือข่ายลึกกระจายขนาดใหญ่ ใน Proc. การประชุมนานาชาติครั้งที่ 25 เกี่ยวกับระบบการประมวลผลข้อมูลประสาท - เล่มที่ 1 (NIPS'12) 1223–1231
3. การไล่ระดับสีแบบสุ่มแบบอะซิงโครนัสแบบอะซิงโครนัส: j. Keuper และ F. Pfreundt 2015. การไล่ระดับสีแบบสุ่มแบบอะซิงโครนัสแบบอะซิงโครนัส: แกนตัวเลขสำหรับอัลกอริทึมการเรียนรู้ของเครื่องกระจายที่ปรับขนาดได้ ใน Proc. การประชุมเชิงปฏิบัติการเกี่ยวกับ MLHPC 1: 1–1: 11
4. Dogwild!-แจกจ่าย Hogwild สำหรับ CPU & GPU: C. Noel และ S. Osindero 2014. Dogwild!-แจกจ่าย Hogwild สำหรับ CPU & GPU ในการประชุมเชิงปฏิบัติการ NIPS เกี่ยวกับการเรียนรู้ของเครื่องกระจายและการคำนวณเมทริกซ์
5. GPU แบบอะซิงโครนัสการไล่ระดับสีแบบสุ่มเพื่อเพิ่มความเร็วในการฝึกอบรมเครือข่ายประสาท: T. Paine, H. Jin, J. Yang, Z. Lin และ TS Huang 2013. GPU แบบอะซิงโครนัสสโตแคสติกไล่ระดับสีเพื่อเพิ่มความเร็วในการฝึกอบรมเครือข่ายประสาท (2013) arxiv: 1312.6186
6. Hogwild !: วิธีการที่ปราศจากล็อคในการทำให้การไล่ระดับสีแบบสุ่มแบบขนาน: B. Recht, C. Re, S. Wright และ F. Niu 2011. Hogwild: วิธีการล็อคฟรีเพื่อขนานการไล่ระดับสีแบบสุ่มแบบขนาน ในความก้าวหน้าในระบบการประมวลผลข้อมูลระบบประสาท 24. 693–701
7. การไล่ระดับสีแบบสุ่มแบบอะซิงโครนัสสำหรับการฝึกอบรม DNN: S. Zhang, C. Zhang, Z. You, R. Zheng และ B. Xu 2013. การไล่ระดับสีแบบสุ่มแบบอะซิงโครนัสสำหรับการฝึกอบรม DNN ในการประชุมนานาชาติ IEEE เกี่ยวกับเสียงการพูดและการประมวลผลสัญญาณ 6660–6663

การสื่อสารที่ไม่ได้กำหนด:

1. Gossipgrad: การเรียนรู้ลึกที่ปรับขนาดได้โดยใช้การสื่อสารซุบซิบตามการไล่ระดับสีแบบอะซิงโครนัส
2. วิธีการขยายการเรียนรู้อย่างลึกซึ้ง: วิธีการขยายการเรียนรู้ที่ลึกซึ้งในการกระจาย?
3. เซิร์ฟเวอร์พารามิเตอร์แบบกระจายความหลากหลายที่รับรู้: การศึกษาการเรียนรู้ของเครื่องกระจายในสภาพแวดล้อมที่ต่างกัน

การกระจายพารามิเตอร์และการสื่อสาร:

การรวมศูนย์:

พารามิเตอร์เซิร์ฟเวอร์ (PS):

1. Geeps: การเรียนรู้อย่างลึกซึ้งที่ปรับขนาดได้เกี่ยวกับ GPU แบบกระจายด้วยพารามิเตอร์ GPU-specialized เซิร์ฟเวอร์.
2. Firecaffe: FN Iandola, MW Moskewicz, K. Ashraf และ K. Keutzer 2016: การเร่งความเร็วใกล้กับการฝึกอบรมเครือข่ายประสาทลึกเกี่ยวกับกลุ่มการคำนวณ ในการประชุม IEEE เกี่ยวกับการมองเห็นคอมพิวเตอร์และการจดจำรูปแบบ (CVPR)
3. Deepspark: H. Kim และคณะ 2016. การเรียนรู้ลึกที่ใช้ Spark สนับสนุนการอัพเดทแบบอะซิงโครนัสและความเข้ากันได้ของคาเฟอีน (2016)
4. การปรับขนาดการเรียนรู้ของเครื่องจักรแบบกระจายด้วยพารามิเตอร์เซิร์ฟเวอร์: M. Li et al. 2014. การปรับขนาดการเรียนรู้ของเครื่องด้วยพารามิเตอร์เซิร์ฟเวอร์ ใน Proc. การประชุม USENIX ครั้งที่ 11 เกี่ยวกับการออกแบบระบบปฏิบัติการและการใช้งาน (OSDI'14) 583–598

PSHARDED:

1. Project Adam: t. Chilimbi, Y. Suzue, J. Apacible และ K. Kalyanaraman 2014. การสร้างระบบการฝึกอบรมการเรียนรู้เชิงลึกที่มีประสิทธิภาพและปรับขนาดได้ ในการประชุมวิชาการ Usenix ครั้งที่ 11 เกี่ยวกับการออกแบบระบบปฏิบัติการและการใช้งาน 571–582
2. เครือข่ายลึกกระจายขนาดใหญ่: J. Dean และคณะ 2012. เครือข่ายลึกกระจายขนาดใหญ่ ใน Proc. การประชุมนานาชาติครั้งที่ 25 เกี่ยวกับระบบการประมวลผลข้อมูลประสาท - เล่มที่ 1 (NIPS'12) 1223–1231
3. เซิร์ฟเวอร์พารามิเตอร์แบบกระจายความหลากหลายที่รับรู้: J. Jiang, B. Cui, C. Zhang และ L. Yu 2017. เซิร์ฟเวอร์พารามิเตอร์แบบกระจายที่หลากหลาย ใน Proc. 2017 การประชุมนานาชาติ ACM เกี่ยวกับการจัดการข้อมูล (Sigmod '17) 463–478
4. การสร้างคุณสมบัติระดับสูงโดยใช้การเรียนรู้ขนาดใหญ่ที่ไม่ได้รับการดูแล: QV Le, M. Ranzato, R. Monga, M. Devin, K. Chen, GS Corrado, J. Dean และ Ay Ng 2012. การสร้างคุณสมบัติระดับสูงโดยใช้การเรียนรู้ขนาดใหญ่ที่ไม่ได้รับการดูแล ใน Proc. 29th int'l conf ในการเรียนรู้ของเครื่อง (ICML'12) 507–514
5. การเรียนรู้อย่างลึกซึ้งที่ 15pf: การจำแนกประเภทภายใต้การดูแลและกึ่งดูแลสำหรับข้อมูลทางวิทยาศาสตร์: T. Kurth และคณะ 2017. การเรียนรู้อย่างลึกซึ้งที่ 15pf: การจำแนกประเภทภายใต้การดูแลและกึ่งดูแลสำหรับข้อมูลทางวิทยาศาสตร์ ใน Proc. int'l conf สำหรับการคำนวณประสิทธิภาพสูงเครือข่ายการจัดเก็บและการวิเคราะห์ (SC '17) 7: 1–7: 11
6. Petuum: Ep Xing, Q. Ho, W. Dai, JK Kim, J. Wei, S. Lee, X. Zheng, P. Xie, A. Kumar และ Y. Yu 2015. Petuum: แพลตฟอร์มใหม่สำหรับการเรียนรู้ของเครื่องกระจายข้อมูลขนาดใหญ่ ธุรกรรม IEEE ใน Big Data 1, 2 (2015), 49–67
7. Poseidon: H. Zhang, Z. Hu, J. Wei, P. Xie, G. Kim, Q. Ho และ Ep Xing 2015. Poseidon: สถาปัตยกรรมระบบสำหรับการเรียนรู้อย่างลึกซึ้งจาก GPU ที่มีประสิทธิภาพในหลายเครื่อง (2015) arxiv: 1512.06216

ลำดับชั้น PS:

1. ความแม่นยำของแบบจำลองและการแลกเปลี่ยนรันไทม์ในการเรียนรู้อย่างลึกซึ้งแบบกระจาย: การศึกษาอย่างเป็นระบบ: S. Gupta, W. Zhang และ F. Wang 2016. ความแม่นยำของแบบจำลองและการแลกเปลี่ยนรันไทม์ในการเรียนรู้ที่ลึกซึ้ง: การศึกษาอย่างเป็นระบบ ในการประชุมนานาชาติ IEEE ครั้งที่ 16 เรื่อง Data Mining (ICDM) 171–180
2. Gaia: K. Hsieh, A. Harlap, N. Vijaykumar, D. Konomis, GR Ganger, Pb Gibbons และ O. Mutlu 2017. Gaia: การเรียนรู้ของเครื่องกระจายทางภูมิศาสตร์ใกล้กับความเร็ว LAN ใน Proc. 14 usenix conf บน NSDI 629–647
3. การใช้ซูเปอร์คอมพิวเตอร์เพื่อเพิ่มความเร็วในการฝึกอบรมเครือข่ายประสาท: Y. Yu, J. Jiang และ X. Chi 2016. การใช้ซูเปอร์คอมพิวเตอร์เพื่อเพิ่มความเร็วในการฝึกอบรมเครือข่ายประสาท ในการประชุมนานาชาติ IEEE ครั้งที่ 22 เกี่ยวกับระบบคู่ขนานและแบบกระจาย (ICPADs) 942–947

ข้อเสนอแนะ: หากคุณมีแนวคิดใด ๆ หรือคุณต้องการเพิ่มเนื้อหาอื่น ๆ ในรายการนี้อย่าลังเลที่จะมีส่วนร่วมในรายการ