Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

Pembelajaran mendalam yang luar biasa

Daftar sumber belajar mendalam terdistribusi yang dikuratori.

Daftar isi

Kerangka kerja

Blog

Dokumen

Buku

Kerangka kerja

  1. MXNET - Ringan, portabel, didistribusikan fleksibel/pembelajaran mendalam seluler dengan dinamis, penjadwal Dataflow DEP yang dinamis; untuk Python, R, Julia, Go, Javascript dan banyak lagi.
  2. Go-mxnet-predictor-Go Binding for MXNet C_PREDICT_API Untuk melakukan inferensi dengan model pra-terlatih.
  3. DEEPEEDEARNING4J - Platform pembelajaran mendalam terdistribusi untuk Java, Clojure, Scala.
  4. Kit Alat Pembelajaran Mesin Terdistribusi (DMTK) - Kerangka Pembelajaran Mesin Terdistribusi (Parameter Server) oleh Microsoft. Mengaktifkan model pelatihan pada set data besar di beberapa mesin. Alat saat ini yang dibundel dengan itu meliputi: Lightlda dan distribusi (multisense) kata embedding.
  5. Elephas - Elephas adalah perpanjangan dari keras, yang memungkinkan Anda menjalankan model pembelajaran mendalam yang didistribusikan pada skala dengan Spark.
  6. Horovod - Kerangka kerja pelatihan terdistribusi untuk TensorFlow.

Blog

  1. Keras + horovod = didistribusikan pembelajaran mendalam pada steroid
  2. Temui Horovod: Kerangka pembelajaran mendalam sumber terbuka Uber untuk TensorFlow
  3. terdistribusi-dalam-learning-part-1-an-introduk-untuk-terdistribusi-pelatihan-neural-networks/
  4. Mempercepat pembelajaran mendalam menggunakan SGD terdistribusi - tinjauan umum
  5. Intro ke sistem pembelajaran mendalam yang didistribusikan:

Dokumen

Umum:

  1. Demistifikasi paralel dan didistribusikan dalam pembelajaran mendalam: analisis konkurensi yang mendalam: membahas berbagai jenis konkurensi dalam DNN; Keturunan gradien stokastik sinkron dan asinkron; arsitektur sistem terdistribusi; skema komunikasi; dan pemodelan kinerja. Berdasarkan pendekatan ini, ia juga mengekstrapolasi arah potensial untuk paralelisme dalam pembelajaran yang mendalam.

Buku

  1. Pola Pembelajaran Mesin Terdistribusi: Buku ini mengajarkan Anda cara mengambil model pembelajaran mesin dari laptop pribadi Anda ke kluster besar terdistribusi. Anda akan mengeksplorasi konsep dan pola utama di balik sistem pembelajaran mesin terdistribusi yang berhasil, dan belajar teknologi seperti TensorFlow, Kubernetes, Kubeflow, dan alur kerja Argo langsung dari pengelola utama dan kontributor, dengan skenario dunia nyata dan proyek langsung.

Konsistensi model:

Sinkronisasi:

Teknik Sinkron:

  1. Pembelajaran mendalam dengan Sistem HPC COTS: Teknologi Commodity Off-the High Performance Computer (COTS HPC), sekelompok server GPU dengan Interconnects dan MPI Infiniband.
  2. Firecaffe: Akselerasi dekat-linear dari pelatihan jaringan saraf dalam pada kelompok komputasi: kecepatan dan skalabilitas algoritma terdistribusi hampir selalu dibatasi oleh overhead komunikasi antar server; Pelatihan DNN bukan pengecualian untuk aturan ini. Oleh karena itu, pertimbangan utama yang dibuat makalah ini adalah mengurangi overhead komunikasi sedapat mungkin, sementara tidak merendahkan keakuratan model DNN yang kami latih.
  3. SparkNet: Melatih jaringan yang dalam di Spark. Dalam Prosiding Konferensi Internasional tentang Representasi Pembelajaran (ICLR).
  4. SGD 1-bit: Keturunan gradien stokastik 1-bit dan aplikasi untuk pelatihan DNN yang terdistribusi paralel data-paralel, di Interspeech 2014.
  5. Pelatihan DNN terdistribusi yang dapat diskalakan menggunakan komputasi awan GPU komoditas: Ini memperkenalkan metode baru untuk meningkatkan pelatihan Stochastic Gradient Gradient Descent (SGD) yang didistribusikan dalam jaringan saraf dalam (DNN). Metode ini memecahkan masalah bottleneck komunikasi yang terkenal yang muncul untuk SGD data-paralel karena node komputasi sering perlu menyinkronkan replika model.
  6. Pelatihan Multi-GPU Convnets.: Pelatihan Convnets di beberapa GPU

Teknik Basi-Sinkron:

  1. Akurasi model dan tradeoff runtime dalam pembelajaran mendalam terdistribusi: studi sistematis.
  2. Algoritma Pembelajaran Cepat Untuk Jaring Keyakinan yang Dalam.
  3. Server Parameter Terdistribusi Heterogenitas-Sehat.: J. Jiang, B. Cui, C. Zhang, dan L. Yu. 2017. Server Parameter Terdistribusi Heterogenitas-Sehat. Di Proc. Konferensi Internasional ACM 2017 tentang Manajemen Data (SIGMOD '17). 463–478.
  4. Gradien stokastik paralel asinkron untuk optimasi nonkonveks: x. Lian, Y. Huang, Y. Li, dan J. Liu. 2015. Gradien stokastik paralel asinkron untuk optimasi non -konveks. Di Proc. Ke -28 Int'l conf. On Nips - Volume 2. 2737–2745.
  5. Staleness-Aware Async-Sgd untuk didistribusikan dalam pembelajaran: W. Zhang, S. Gupta, X. Lian, dan J. Liu. 2016. Staleness-Aware Async-SGD untuk didistribusikan dalam pembelajaran. Di Proc. Konferensi Gabungan Internasional ke-dua puluh lima tentang Kecerdasan Buatan (IJCAI'16). 2350–2356.

Teknik asinkron:

  1. Analisis terpadu dari algoritma hogwild! -Style.: C. de Sa, C. Zhang, K. Olukotun, dan C. Ré. 2015. Taming the Wild: Analisis terpadu algoritma gaya Hogwild! Di Proc. Ke -28 Int'l conf. On Nips - Volume 2. 2674–2682.
  2. Jaringan Deep Terdistribusi Skala Besar: J. Dean et al. 2012. Jaringan mendalam skala besar. Di Proc. Konferensi Internasional ke -25 tentang Sistem Pemrosesan Informasi Saraf - Volume 1 (NIPS'12). 1223–1231.
  3. Descent gradien stokastik paralel asinkron: J. Keuper dan F. Pfreundt. 2015. Descent gradien stokastik paralel asinkron: inti numerik untuk algoritma pembelajaran mesin terdistribusi yang dapat diskalakan. Di Proc. Lokakarya tentang MLHPC. 1: 1–1: 11.
  4. Dogwild! -Distributor Hogwild untuk CPU & GPU.: C. Noel dan S. Osindero. 2014. Dogwild! -Distributor Hogwild untuk CPU & GPU. Di NIPS Workshop tentang pembelajaran mesin terdistribusi dan perhitungan matriks.
  5. GPU Descent gradien stokastik asinkron untuk mempercepat pelatihan jaringan saraf.: T. Paine, H. Jin, J. Yang, Z. Lin, dan TS Huang. 2013. GPU Penurunan gradien stokastik asinkron untuk mempercepat pelatihan jaringan saraf. (2013). Arxiv: 1312.6186
  6. Hogwild!: Pendekatan bebas kunci untuk paralelisasi gradien stokastik keturunan: B. Recht, C. Re, S. Wright, dan F. Niu. 2011. Hogwild: Pendekatan bebas kunci untuk paralelisasi keturunan gradien stokastik. Dalam kemajuan dalam sistem pemrosesan informasi saraf 24. 693-701.
  7. Penurunan gradien stokastik asinkron untuk pelatihan DNN: S. Zhang, C. Zhang, Z. Anda, R. Zheng, dan B. Xu. 2013. Descent gradien stokastik asinkron untuk pelatihan DNN. Dalam Konferensi Internasional IEEE tentang Akustik, Pidato dan Pemrosesan Sinyal. 6660–6663.

Komunikasi non-deterministik:

  1. GossipGrad: Pembelajaran mendalam yang dapat diskalakan menggunakan Gosip Communication Berbasis Descent Gradient Asynchronous
  2. Bagaimana cara skala pembelajaran mendalam yang didistribusikan: Bagaimana skala pembelajaran mendalam yang didistribusikan?
  3. Server Parameter Terdistribusi Heterogenitas-Sehat: Studi Pembelajaran Mesin Terdistribusi di Lingkungan Heterogen.

Distribusi dan komunikasi parameter:

Sentralisasi:

Parameter Server (PS):
  1. GEEPS: Pembelajaran mendalam yang dapat diskalakan pada GPU terdistribusi dengan parameter khusus GPU. Server.
  2. Firecaffe: fn Iandola, MW Moskewicz, K. Ashraf, dan K. Keutzer. 2016: Akselerasi dekat-linear dari pelatihan jaringan saraf dalam pada kelompok komputasi. Dalam Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola (CVPR).
  3. Deepspark: H. Kim et al. 2016. Pembelajaran mendalam berbasis Spark mendukung pembaruan asinkron dan kompatibilitas caffe. (2016).
  4. Penskalaan Pembelajaran Mesin Terdistribusi dengan Server Parameter: M. Li et al. 2014. Penskalaan pembelajaran mesin terdistribusi dengan server parameter. Di Proc. Konferensi Usenix ke -11 tentang Desain dan Implementasi Sistem Operasi (OSDI'14). 583–598.
Sharded PS:
  1. Project Adam: t. Chilimbi, Y. Suzue, J. Apacible, dan K. Kalyanaraman. 2014. Membangun sistem pelatihan pembelajaran mendalam yang efisien dan dapat diskalakan. Dalam Simposium Usenix ke -11 tentang Desain dan Implementasi Sistem Operasi. 571–582.
  2. Jaringan Deep Terdistribusi Skala Besar: J. Dean et al. 2012. Jaringan mendalam skala besar. Di Proc. Konferensi Internasional ke -25 tentang Sistem Pemrosesan Informasi Saraf - Volume 1 (NIPS'12). 1223–1231.
  3. Server Parameter Terdistribusi Heterogenitas-Sehat: J. Jiang, B. Cui, C. Zhang, dan L. Yu. 2017. Server Parameter Terdistribusi Heterogenitas-Sehat. Di Proc. Konferensi Internasional ACM 2017 tentang Manajemen Data (SIGMOD '17). 463–478.
  4. Membangun fitur tingkat tinggi menggunakan pembelajaran tanpa pengawasan skala besar: QV LE, M. Ranzato, R. Monga, M. Devin, K. Chen, GS Corrado, J. Dean, dan Ay Ng. 2012. Membangun fitur tingkat tinggi menggunakan pembelajaran tanpa pengawasan skala besar. Di Proc. Ke -29 Int'l conf. pada pembelajaran mesin (ICML'12). 507–514.
  5. Pembelajaran mendalam pada 15PF: Klasifikasi yang diawasi dan semi-diawasi untuk data ilmiah: T. Kurth et al. 2017. Deep Learning pukul 15PF: Klasifikasi yang diawasi dan semi-diawasi untuk data ilmiah. Di Proc. Int'l conf. Untuk komputasi, jaringan, penyimpanan, dan analisis kinerja tinggi (SC '17). 7: 1–7: 11.
  6. PETUUM: Ep Xing, Q. Ho, W. Dai, JK Kim, J. Wei, S. Lee, X. Zheng, P. Xie, A. Kumar, dan Y. Yu. 2015. PETUUM: Platform baru untuk pembelajaran mesin terdistribusi pada data besar. Transaksi IEEE pada Big Data 1, 2 (2015), 49-67.
  7. Poseidon: H. Zhang, Z. Hu, J. Wei, P. Xie, G. Kim, Q. Ho, dan Ep Xing. 2015. Poseidon: Arsitektur sistem untuk pembelajaran mendalam berbasis GPU yang efisien di banyak mesin. (2015). ARXIV: 1512.06216
Hierarkis PS:
  1. Akurasi model dan runtime tradeoff dalam pembelajaran mendalam terdistribusi: studi sistematis: S. Gupta, W. Zhang, dan F. Wang. 2016. Akurasi model dan pertukaran runtime dalam pembelajaran mendalam terdistribusi: studi sistematis. Dalam Konferensi Internasional ke -16 IEEE tentang Data Mining (ICDM). 171–180.
  2. Gaia: K. Hsieh, A. Harlap, N. Vijaykumar, D. Konomis, Gr Ganger, Pb Gibbons, dan O. Mutlu. 2017. GAIA: Pembelajaran mesin yang didistribusikan geo mendekati kecepatan LAN. Di Proc. 14th Usenix conf. di NSDI. 629–647.
  3. Menggunakan superkomputer untuk mempercepat pelatihan jaringan saraf: Y. Yu, J. Jiang, dan X. Chi. 2016. Menggunakan superkomputer untuk mempercepat pelatihan jaringan saraf. Dalam Konferensi Internasional ke -22 IEEE tentang Sistem Paralel dan Terdistribusi (ICPADS). 942–947.

Umpan Balik: Jika Anda memiliki ide atau Anda ingin konten lain ditambahkan ke daftar ini, jangan ragu untuk berkontribusi dalam daftar.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua