الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تعلم عميق موزع رائع

قائمة منسقة من موارد التعلم العميق الموزعة الرائعة.

جدول المحتويات

الأطر

المدونات

أوراق

كتب

الأطر

  1. MXNET - التعلم العميق الخفيف ، المحمول ، المرن/المحمول مع التعلم العميق مع Data Data Data Data Data Data Data ؛ لبيثون ، ص ، جوليا ، اذهب ، جافا سكريبت وأكثر من ذلك.
  2. go-mxnet-predictor-go binding لـ mxnet c_predict_api للقيام بالاستدلال مع النموذج الذي تم تدريبه مسبقًا.
  3. Deeplearning4J - منصة التعلم العميق الموزعة لجافا ، Clojure ، Scala.
  4. مجموعة أدوات التعلم الآلي الموزعة (DMTK) - إطار عمل موزع للتعلم الآلي (خادم المعلمة) بواسطة Microsoft. يتيح نماذج التدريب على مجموعات البيانات الكبيرة عبر آلات متعددة. وتشمل الأدوات الحالية المغطاة بها: LightLda و Distributed (متعددة الطوائف) تضمين الكلمات.
  5. Elephas - Elephas هو امتداد لـ Keras ، مما يتيح لك تشغيل نماذج التعلم العميق الموزعة على نطاق واسع مع Spark.
  6. Horovod - إطار التدريب الموزع لـ Tensorflow.

المدونات

  1. Keras + Horovod = التعلم العميق الموزع على المنشطات
  2. Meet Horovod: Oper Open Source Distributed Learning Framework for Tensorflow
  3. وتوزيع التعلم--1-an-introduction-to-distributed-of-networks/ networks/
  4. تسريع التعلم العميق باستخدام SGD الموزع - نظرة عامة
  5. مقدمة لأنظمة التعلم العميق الموزعة:

أوراق

عام:

  1. إزالة الغموض عن التعلم العميق الموازي والموزع: تحليل التزامن متعمق: يناقش الأنواع المختلفة من التزامن في DNNs ؛ النسب المتزامن غير المتزامن وغير المتزامن. بنية النظام الموزعة ؛ مخططات الاتصال ونمذجة الأداء. بناءً على هذه الأساليب ، فإنه يقوم أيضًا بتوصل الاتجاهات المحتملة للتوازي في التعلم العميق.

كتب

  1. أنماط التعلم الآلي الموزعة: يعلمك هذا الكتاب كيفية أخذ نماذج التعلم الآلي من الكمبيوتر المحمول الشخصي إلى مجموعات كبيرة موزعة. ستستكشف المفاهيم والأنماط الرئيسية وراء أنظمة التعلم الآلي الموزعة الناجحة ، وتعلم تقنيات مثل TensorFlow و Kubernetes و Kubeflow و ARGO مباشرة من سير العمل والمساهم الرئيسي ، مع سيناريوهات العالم الحقيقي ومشاريع اليدين.

الاتساق النموذج:

التزامن:

التقنيات المتزامنة:

  1. التعلم العميق مع أنظمة COTS HPC: تقنية الحوسبة العالية للأداء (COTS HPC) ، مجموعة من خوادم GPU مع ربطات Infiniband و MPI.
  2. Firecaffe: تسارع شبه خطي لتدريب الشبكات العصبية العميقة على مجموعات حساب: سرعة وقابلية التوسع في الخوارزميات الموزعة تقتصر دائمًا على النفقات العامة للتواصل بين الخوادم ؛ التدريب DNN ليس استثناء لهذه القاعدة. لذلك ، فإن الاعتبار الرئيسي الذي توضحه هذه الورقة هو تقليل الاتصالات العامة حيثما كان ذلك ممكنًا ، في حين لا تحط من دقة نماذج DNN التي ندربها.
  3. Sparknet: تدريب الشبكات العميقة في Spark. في وقائع المؤتمر الدولي حول تمثيلات التعلم (ICLR).
  4. 1 بت SGD: النسب التدريجي العشوائي 1 بت وتطبيقه على التدريب الموزع للبيانات الموزعة ل DNNs الكلام ، في interspeech 2014.
  5. تدريب DNN الموزعة القابلة للتطوير باستخدام الحوسبة السحابية GPU السلعية: يقدم طريقة جديدة لتوسيع نطاق التدرج المتدرج العشوائي الموزعة (SGD) للشبكات العصبية العميقة (DNN). تحل الطريقة مشكلة عنق الزجاجة المعروفة التي تنشأ عن SGD المتوازي للبيانات لأن العقد حساب في كثير من الأحيان تحتاج إلى مزامنة نسخة طبق الأصل من النموذج.
  6. التدريب متعدد GPU من Convnets: تدريب القنوات على GPU متعددة

التقنيات المتزامنة التي لا معنى لها:

  1. دقة النموذج ومقايضة وقت التشغيل في التعلم العميق الموزع: دراسة منهجية.
  2. خوارزمية التعلم السريع لشبكات الاعتقاد العميق
  3. خوادم المعلمة الموزعة غير المتجانسة: J. Jiang ، B. Cui ، C. Zhang ، and L. Yu. 2017. خوادم المعلمة الموزعة غير المتجانسة. في بروك. 2017 مؤتمر ACM الدولي حول إدارة البيانات (Sigmod '17). 463-478.
  4. التدرج العشوائي غير المتزامن غير المتزامن للتحسين غير المؤسسي: x. Lian ، Y. Huang ، Y. Li ، and J. Liu. 2015. التدرج العشوائي غير المتزامن غير المتزامن للتحسين غير الكونكونيكس. في بروك. 28 int'l conf. على NIPS - المجلد 2. 2737-2745.
  5. stalenence-all arains-sgd للتعلم العميق الموزعة: دبليو تشانغ ، س. غوبتا ، إكس ليان ، وجي ليو. 2016. stalenence-all arains-sgd للتعلم العميق الموزع. في بروك. المؤتمر الدولي الخامس والعشرون حول الذكاء الاصطناعي (IJcai'16). 2350-2356.

التقنيات غير المتزامنة:

  1. تحليل موحد لخوارزميات Hogwild! -style: C. de Sa ، C. Zhang ، K. Olukotun ، and C. 2015. ترويض البرية: تحليل موحد لخوارزميات هوجويلد! في بروك. 28 int'l conf. على NIPS - المجلد 2. 2674-2682.
  2. الشبكات العميقة الموزعة على نطاق واسع: J. Dean et al. 2012. الشبكات العميقة الموزعة على نطاق واسع. في بروك. المؤتمر الدولي الخامس والعشرون لأنظمة معالجة المعلومات العصبية - المجلد 1 (NIPS'12). 1223-1231.
  3. نزول التدرج العشوائي غير المتزامن غير المتزامن: ي. Keuper و F. Pfreundt. 2015. النسب المتابع المتوازي المتوازي: جوهر رقمي لخوارزميات التعلم الآلي الموزعة القابلة للتطوير. في بروك. ورشة عمل على MLHPC. 1: 1-1: 11.
  4. Dogwild!-Hogwild الموزعة ل CPU و GPU: C. Noel و S. Osindero. 2014. Dogwild!-Hogwild الموزعة ل CPU و GPU. في ورشة عمل NIPS حول التعلم الآلي الموزع وحسابات المصفوفة.
  5. GPU GPU غير متزامن إلى التدرج العشوائي لتسريع التدريب على الشبكة العصبية: T. Paine ، H. Jin ، J. Yang ، Z. Lin ، و TS Huang. 2013. GPU GPU غير متزامن الانحدار العشوائي النسب لتسريع التدريب على الشبكة العصبية. (2013). Arxiv: 1312.6186
  6. Hogwild!: نهج خالٍ من القفل لموازنة النسب المتدرج العشوائي: B. recht ، C. re ، S. Wright ، و F. Niu. 2011. Hogwild: مقاربة خالية من القفل لتوازي هبوط التدرج العشوائي. في التقدم في أنظمة معالجة المعلومات العصبية 24. 693-701.
  7. نزول التدرج العشوائي غير المتزامن للتدريب DNN: S. Zhang ، C. Zhang ، Z. You ، R. Zheng ، and B. Xu. 2013. النسب المتزامن غير المتزامن للتدريب DNN. في مؤتمر IEEE الدولي حول الصوتيات ، معالجة الكلام والإشارات. 6660-6663.

التواصل غير الحتمي:

  1. Gossipgrad: التعلم العميق القابل للتطوير باستخدام نزول التدرج غير المتزامن القائم على ثرثرة
  2. كيفية توسيع نطاق التعلم العميق الموزعة: كيفية توسيع نطاق التعلم العميق الموزع؟
  3. خوادم المعلمة الموزعة غير المتجانسة: دراسة للتعلم الآلي الموزع في البيئات غير المتجانسة.

توزيع المعلمات والاتصال:

المركزية:

خادم المعلمة (PS):
  1. GEEPS: التعلم العميق القابل للتطوير على وحدات معالجة الرسومات الموزعة مع معلمة متخصصة في GPU. الخادم.
  2. Firecaffe: fn Iandola ، MW Moskewicz ، K. Ashraf ، and K. Keutzer. 2016: تسارع شبه خطي لتدريب الشبكات العصبية العميقة على مجموعات حساب. في مؤتمر IEEE حول رؤية الكمبيوتر والتعرف على الأنماط (CVPR).
  3. DeepSpark: H. Kim et al. 2016. التعلم العميق القائم على الشرارة يدعم التحديثات غير المتزامنة وتوافق الكافيين. (2016).
  4. تحجيم التعلم الآلي الموزع مع خادم المعلمة: M. Li et al. 2014. تحجيم التعلم الآلي الموزع مع خادم المعلمة. في بروك. مؤتمر Usenix الحادي عشر حول تصميم وتنفيذ أنظمة التشغيل (OSDI'14). 583-598.
شاردات PS:
  1. مشروع آدم: ر. Chilimbi ، Y. Suzue ، J. Apacible ، و K. Kalyanaraman. 2014. بناء نظام تدريب على التعلم العميق الفعال والقابل للتطوير. في ندوة Usenix الحادية عشرة حول تصميم أنظمة التشغيل وتنفيذها. 571-582.
  2. الشبكات العميقة الموزعة على نطاق واسع: J. Dean et al. 2012. الشبكات العميقة الموزعة على نطاق واسع. في بروك. المؤتمر الدولي الخامس والعشرون لأنظمة معالجة المعلومات العصبية - المجلد 1 (NIPS'12). 1223-1231.
  3. خوادم المعلمة الموزعة غير المتجانسة: J. Jiang ، B. Cui ، C. Zhang ، و L. Yu. 2017. خوادم المعلمة الموزعة غير المتجانسة. في بروك. 2017 مؤتمر ACM الدولي حول إدارة البيانات (Sigmod '17). 463-478.
  4. بناء ميزات عالية المستوى باستخدام التعلم غير الخاضع للإشراف على نطاق واسع: QV LE ، M. Ranzato ، R. Monga ، M. Devin ، K. Chen ، GS Corrado ، J. Dean ، and Ay Ng. 2012. بناء ميزات عالية المستوى باستخدام التعلم غير الخاضع للإشراف على نطاق واسع. في بروك. 29 int'l conf. على التعلم الآلي (ICML'12). 507-514.
  5. التعلم العميق في 15PF: تصنيف خاضع للإشراف وشبه الخاضع للإشراف للبيانات العلمية: T. Kurth et al. 2017. التعلم العميق في 15PF: تصنيف خاضع للإشراف وشبه الخاضع للإشراف للبيانات العلمية. في بروك. int'l conf. للحوسبة عالية الأداء والشبكات والتخزين والتحليل (SC '17). 7: 1–7: 11.
  6. Petuum: EP Xing ، Q. Ho ، W. Dai ، JK Kim ، J. Wei ، S. Lee ، X. Zheng ، P. Xie ، A. Kumar ، and Y. Yu. 2015. Petuum: منصة جديدة للتعلم الآلي الموزع على البيانات الكبيرة. معاملات IEEE على البيانات الكبيرة 1 ، 2 (2015) ، 49-67.
  7. Poseidon: H. Zhang ، Z. Hu ، J. Wei ، P. Xie ، G. Kim ، Q. Ho ، and EP Xing. 2015. بوسيدون: بنية نظام للتعلم العميق القائم على GPU على آلات متعددة. (2015). Arxiv: 1512.06216
PS الهرمي:
  1. دقة النموذج ومقايضة وقت التشغيل في التعلم العميق الموزع: دراسة منهجية: S. Gupta ، W. Zhang ، و F. Wang. 2016. دقة النموذج ومقايضة وقت التشغيل في التعلم العميق الموزع: دراسة منهجية. في المؤتمر الدولي السادس عشر حول استخراج البيانات (ICDM). 171-180.
  2. Gaia: K. Hsieh ، A. Harlap ، N. Vijaykumar ، D. Konomis ، GR Ganger ، PB Gibbons ، and O. Mutlu. 2017. غايا: التعلم الآلي الجغرافي الذي يقترب من سرعات الشبكة المحلية. في بروك. 14 usenix conf. على NSDI. 629-647.
  3. باستخدام الحاسوب الخارق لتسريع تدريب الشبكة العصبية: Y. Yu و J. Jiang و X. Chi. 2016. باستخدام الحاسوب الخارق لتسريع التدريب على الشبكة العصبية. في المؤتمر الدولي 22 من IEEE حول الأنظمة الموازية والموزعة (ICPADS). 942-947.

ردود الفعل: إذا كان لديك أي أفكار أو تريد إضافة أي محتوى آخر إلى هذه القائمة ، فلا تتردد في المساهمة في القائمة.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل