很棒的分佈深度學習
精心策劃的很棒的分佈式深度學習資源清單。
目錄
框架
部落格
文件
圖書
框架
- MXNET-輕巧，便攜式，靈活的分佈式/移動深度學習，具有動態，突變吸引數據流DEP調度程序；對於Python，R，Julia，Go，JavaScript等。
- go-mxnet predictor-對MXNET C_PREDICT_API進行綁定，以使用預訓練的模型進行推斷。
- DeepLearning4J-分佈式的Java，Clojure，Scala的深度學習平台。
- 分佈式機器學習工具套件（DMTK） - Microsoft的分佈式機器學習（參數服務器）框架。在跨多個計算機的大型數據集上啟用培訓模型。與之捆綁的當前工具包括：LightLDA和分佈式（多強度）單詞嵌入。
- Elephas -Elephas是Keras的擴展，它使您可以用Spark大規模運行分佈式深度學習模型。
- Horovod-張量流的分佈式培訓框架。
部落格
- keras + horovod =分佈在類固醇上的深度學習
- 遇見horovod：Uber的開源分佈式張tensorflow的深度學習框架
- 分佈式深度學習的部分-1-介紹對培訓的訓練/培訓/
- 使用分佈式SGD加速深度學習 - 概述
- 分佈式深度學習系統的介紹：
文件
一般的：
- 揭開平行和分佈的深度學習：深入的並發分析：討論DNN中的不同類型的並發性；同步和異步隨機梯度下降；分佈式系統體系結構；溝通計劃；和性能建模。基於這些方法，它還推斷了深度學習中並行性的潛在方向。
圖書
- 分佈式機器學習模式：本書教您如何將機器學習模型從個人筆記本電腦帶到大型分佈式群集。您將探索成功分佈式機器學習系統背後的關鍵概念和模式，並直接從關鍵維護者和貢獻者中學習Tensorflow，Kubernetes，Kubernetes，Kubernetes，Kubeflow和Argo工作流程，以及現實世界中的場景和實際項目。
模型一致性：
同步：
同步技術：
- 使用COTS HPC系統的深度學習：商品現成的高性能計算（COTS HPC）技術，一組具有Infiniband Interonnects和MPI的GPU服務器。
- FIRECAFFE：在計算簇上進行深神網絡培訓的近線性加速：分佈式算法的速度和可擴展性幾乎總是受到服務器之間通信的開銷的限制； DNN培訓不是該規則的例外。因此，本文提出的關鍵考慮是在可能的情況下減少開銷，同時又不降低我們訓練的DNN模型的準確性。
- SparkNet：Spark中的訓練深網。在國際學習表現會議論文集（ICLR）。
- 1位SGD：1位隨機梯度下降和對語音DNN的數據並行分佈培訓的應用，在Interspeech 2014中。
- 使用商品GPU雲計算的可擴展分佈式DNN訓練：它引入了一種擴大深層神經網絡（DNN）的分佈式隨機梯度下降（SGD）訓練的新方法。該方法解決了針對數據並行SGD出現的眾所周知的通信瓶頸問題，因為計算節點經常需要同步模型的副本。
- Convnets的多GPU培訓。
陳舊同步技術：
- 在分佈式深度學習中模型的準確性和運行時折衷：系統研究。
- 深信網絡的快速學習算法。 ：一種快速學習算法的深信仰網。
- 異質性 - 意識分佈式參數服務器。 2017。異質性 - 感知分佈式參數服務器。在Proc。 2017 ACM國際數據管理會議（Sigmod '17）。 463–478。
- 非凸優化的異步並行隨機梯度：x。 Lian，Y。 Huang，Y。 Li和J. Liu。 2015。異步平行的隨機梯度，用於非凸優化。在Proc。第28屆INT'L Conf。在NIPS上 - 第2卷。 2737–2745。
- 分佈式深度學習的穩定性意識到異步：W。 Zhang，S。 Gupta，X。 Lian和J. Liu。 2016。用於分佈式深度學習的穩定性意識到異步-SGD。在Proc。第25屆國際人工智能聯合會議（IJCAI'16）。 2350–2356。
異步技術：
- 對Hogwild！ - 風格算法的統一分析。 2015年。馴服野外：對霍格維爾德！ - 式算法的統一分析。在Proc。第28屆INT'L Conf。在NIPS上 - 第2卷。 2674–2682。
- 大規模分佈的深網：J。 Dean等。 2012年。大規模分佈深網。在Proc。第25屆神經信息處理系統國際會議 - 第1卷（NIPS'12）。 1223–1231。
- 異步平行隨機梯度下降：j。 Keuper和F. Pfreundt。 2015。異步平行隨機梯度下降：可擴展的分佈式機器學習算法的數字核心。在Proc。 MLHPC的研討會。 1：1-1：11。
- Dogwild！ - cpu＆gpu的Hogwild。 ：C。 Noel和S. Osindero。 2014。 Dogwild！ - 分配給CPU＆GPU的Hogwild。在分佈式機器學習和矩陣計算的NIPS講習班中。
- GPU異步隨機梯度下降以加快神經網絡訓練。 2013。 GPU異步隨機梯度下降以加快神經網絡訓練。 （2013）。 ARXIV：1312.6186
- Hogwild！ ：一種無鎖的方法，可以並行化隨機梯度下降：B。 Recht，C。 Re，S。 Wright和F. Niu。 2011。 Hogwild：一種無鎖的方法，用於並行化隨機梯度下降。在神經信息處理系統的進步中24.693–701。
- DNN訓練的異步隨機梯度下降：S。 Zhang，C。 Zhang，Z。您，R。 Zheng和B. Xu。 2013。異步隨機梯度下降用於DNN訓練。在IEEE國際聲學，語音和信號處理中。 6660–6663。
非確定性交流：
- 八卦：使用基於八卦通信的異步梯度下降的可擴展深度學習
- 如何擴展分佈的深度學習：如何擴展分佈的深度學習？
- 異質性 - 意識分佈式參數服務器：在異質環境中分佈式機器學習的研究。
參數分佈和通信：
集權：
參數服務器（PS）：
- GEEP：具有GPU專用參數的分佈式GPU上的可擴展深度學習。伺服器.
- FIRECAFFE：FN IANDOLA，MW MOSKEWICZ，K。 ASHRAF和K. KEUTZER。 2016年：在計算簇上進行深度神經網絡培訓的近線性加速。在IEEE計算機視覺和模式識別會議上（CVPR）。
- DeepSpark：H。 Kim等。 2016年。基於火花的深度學習支持異步更新和CAFFE兼容性。 （2016）。
- 使用參數服務器縮放分佈式機器學習：M。 Li等。 2014。使用參數服務器縮放分佈式機器學習。在Proc。第11屆USENIX操作系統設計和實施會議（OSDI'14）。 583–598。
碎片PS：
- 亞當項目：t。 Chilimbi，Y。 Suzue，J。 Papicia和K. Kalyanaraman。 2014年。建立一個高效且可擴展的深度學習培訓系統。在第11屆USENIX操作系統設計和實施研討會上。 571–582。
- 大規模分佈的深網：J。 Dean等。 2012年。大規模分佈深網。在Proc。第25屆神經信息處理系統國際會議 - 第1卷（NIPS'12）。 1223–1231。
- 異質性 - 意識分佈式參數服務器：J。 Jiang，B。 Cui，C。 Zhang和L. Yu。 2017。異質性 - 感知分佈式參數服務器。在Proc。 2017 ACM國際數據管理會議（Sigmod '17）。 463–478。
- 使用大規模的無監督學習來構建高級特徵：QV LE，M。 Ranzato，R。 Monga，M。 Devin，K。 Chen，GS Corrado，J。 Dean和Ay Ng。 2012年。使用大規模的無監督學習來構建高級功能。在Proc。 29th int'l conf。關於機器學習（ICML'12）。 507–514。
- 15pf的深度學習：科學數據的監督和半監督分類：T。 Kurth等。 2017年。 15pf的深度學習：科學數據的監督和半監督分類。在Proc。 int'l conf。用於高性能計算，網絡，存儲和分析（SC '17）。 7：1–7：11。
- Petuum：Ep Xing，Q. Ho，W。 Dai，JK Kim，J。 Wei，S。 Lee，X。 Zheng，P。 Xie，A。 Kumar和Y. Yu。 2015年。 Petuum：大數據上分佈式機器學習的新平台。 IEEE交易對大數據1，2（2015），49-67。
- Poseidon：H。 Zhang，Z. 2015。 Poseidon：一種用於高效GPU的系統體系結構。 （2015）。 ARXIV：1512.06216
分層PS：
- 分佈式深度學習中的模型準確性和運行時折衷：系統研究：S。 Gupta，W。 Zhang和F. Wang。 2016年。分佈式深度學習中的模型準確性和運行時折衷：系統研究。在IEEE第16屆國際數據挖掘會議（ICDM）中。 171–180。
- 蓋亞：K。 Hsieh，A。 Arlap，N。 Vijaykumar，D。 Konomis，Gr Ganger，PB Gibbons和O. Mutlu。 2017。 Gaia：地理分佈的機器學習接近LAN速度。在Proc。第14 USENIX conf。在NSDI上。 629–647。
- 使用超級計算機加快神經網絡訓練：Y. Yu，J。 Jiang和X. Chi。 2016。使用超級計算機來加快神經網絡培訓。在IEEE第22屆國際並行和分佈式系統（ICPADS）中。 942–947。
反饋：如果您有任何想法或希望將任何其他內容添加到此列表中，請隨時為列表做出貢獻。
