很棒的分布深度学习
精心策划的很棒的分布式深度学习资源清单。
目录
框架
博客
文件
图书
框架
- MXNET-轻巧，便携式，灵活的分布式/移动深度学习，具有动态，突变吸引数据流DEP调度程序；对于Python，R，Julia，Go，JavaScript等。
- go-mxnet predictor-对MXNET C_PREDICT_API进行绑定，以使用预训练的模型进行推断。
- DeepLearning4J-分布式的Java，Clojure，Scala的深度学习平台。
- 分布式机器学习工具套件（DMTK） - Microsoft的分布式机器学习（参数服务器）框架。在跨多个计算机的大型数据集上启用培训模型。与之捆绑的当前工具包括：LightLDA和分布式（多强度）单词嵌入。
- Elephas -Elephas是Keras的扩展，它使您可以用Spark大规模运行分布式深度学习模型。
- Horovod-张量流的分布式培训框架。
博客
- keras + horovod =分布在类固醇上的深度学习
- 遇见horovod：Uber的开源分布式张tensorflow的深度学习框架
- 分布式深度学习的部分-1-介绍对培训的训练/培训/
- 使用分布式SGD加速深度学习 - 概述
- 分布式深度学习系统的介绍：
文件
一般的：
- 揭开平行和分布的深度学习：深入的并发分析：讨论DNN中的不同类型的并发性；同步和异步随机梯度下降；分布式系统体系结构；沟通计划；和性能建模。基于这些方法，它还推断了深度学习中并行性的潜在方向。
图书
- 分布式机器学习模式：本书教您如何将机器学习模型从个人笔记本电脑带到大型分布式群集。您将探索成功分布式机器学习系统背后的关键概念和模式，并直接从关键维护者和贡献者中学习Tensorflow，Kubernetes，Kubernetes，Kubernetes，Kubeflow和Argo工作流程，以及现实世界中的场景和实际项目。
模型一致性：
同步：
同步技术：
- 使用COTS HPC系统的深度学习：商品现成的高性能计算（COTS HPC）技术，一组具有Infiniband Interonnects和MPI的GPU服务器。
- FIRECAFFE：在计算簇上进行深神网络培训的近线性加速：分布式算法的速度和可扩展性几乎总是受到服务器之间通信的开销的限制； DNN培训不是该规则的例外。因此，本文提出的关键考虑是在可能的情况下减少开销，同时又不降低我们训练的DNN模型的准确性。
- SparkNet：Spark中的训练深网。在国际学习表现会议论文集（ICLR）。
- 1位SGD：1位随机梯度下降和对语音DNN的数据并行分布培训的应用，在Interspeech 2014中。
- 使用商品GPU云计算的可扩展分布式DNN训练：它引入了一种扩大深层神经网络（DNN）的分布式随机梯度下降（SGD）训练的新方法。该方法解决了针对数据并行SGD出现的众所周知的通信瓶颈问题，因为计算节点经常需要同步模型的副本。
- Convnets的多GPU培训。
陈旧同步技术：
- 在分布式深度学习中模型的准确性和运行时折衷：系统研究。
- 深信网络的快速学习算法。：一种快速学习算法的深信仰网。
- 异质性 - 意识分布式参数服务器。 2017。异质性 - 感知分布式参数服务器。在Proc。 2017 ACM国际数据管理会议（Sigmod '17）。 463–478。
- 非凸优化的异步并行随机梯度：x。 Lian，Y。Huang，Y。Li和J. Liu。 2015。异步平行的随机梯度，用于非凸优化。在Proc。第28届INT'L Conf。在NIPS上 - 第2卷。2737–2745。
- 分布式深度学习的稳定性意识到异步：W。Zhang，S。Gupta，X。Lian和J. Liu。 2016。用于分布式深度学习的稳定性意识到异步-SGD。在Proc。第25届国际人工智能联合会议（IJCAI'16）。 2350–2356。
异步技术：
- 对Hogwild！ - 风格算法的统一分析。 2015年。驯服野外：对霍格维尔德！ - 式算法的统一分析。在Proc。第28届INT'L Conf。在NIPS上 - 第2卷。2674–2682。
- 大规模分布的深网：J。Dean等。 2012年。大规模分布深网。在Proc。第25届神经信息处理系统国际会议 - 第1卷（NIPS'12）。 1223–1231。
- 异步平行随机梯度下降：j。 Keuper和F. Pfreundt。 2015。异步平行随机梯度下降：可扩展的分布式机器学习算法的数字核心。在Proc。 MLHPC的研讨会。 1：1-1：11。
- Dogwild！ - cpu＆gpu的Hogwild。：C。Noel和S. Osindero。 2014。Dogwild！ - 分配给CPU＆GPU的Hogwild。在分布式机器学习和矩阵计算的NIPS讲习班中。
- GPU异步随机梯度下降以加快神经网络训练。 2013。GPU异步随机梯度下降以加快神经网络训练。 （2013）。 ARXIV：1312.6186
- Hogwild！：一种无锁的方法，可以并行化随机梯度下降：B。Recht，C。Re，S。Wright和F. Niu。 2011。Hogwild：一种无锁的方法，用于并行化随机梯度下降。在神经信息处理系统的进步中24.693–701。
- DNN训练的异步随机梯度下降：S。Zhang，C。Zhang，Z。您，R。Zheng和B. Xu。 2013。异步随机梯度下降用于DNN训练。在IEEE国际声学，语音和信号处理中。 6660–6663。
非确定性交流：
- 八卦：使用基于八卦通信的异步梯度下降的可扩展深度学习
- 如何扩展分布的深度学习：如何扩展分布的深度学习？
- 异质性 - 意识分布式参数服务器：在异质环境中分布式机器学习的研究。
参数分布和通信：
集权：
参数服务器（PS）：
- GEEP：具有GPU专用参数的分布式GPU上的可扩展深度学习。服务器。
- FIRECAFFE：FN IANDOLA，MW MOSKEWICZ，K。ASHRAF和K. KEUTZER。 2016年：在计算簇上进行深度神经网络培训的近线性加速。在IEEE计算机视觉和模式识别会议上（CVPR）。
- DeepSpark：H。Kim等。 2016年。基于火花的深度学习支持异步更新和CAFFE兼容性。 （2016）。
- 使用参数服务器缩放分布式机器学习：M。Li等。 2014。使用参数服务器缩放分布式机器学习。在Proc。第11届USENIX操作系统设计和实施会议（OSDI'14）。 583–598。
碎片PS：
- 亚当项目：t。 Chilimbi，Y。Suzue，J。Papicia和K. Kalyanaraman。 2014年。建立一个高效且可扩展的深度学习培训系统。在第11届USENIX操作系统设计和实施研讨会上。 571–582。
- 大规模分布的深网：J。Dean等。 2012年。大规模分布深网。在Proc。第25届神经信息处理系统国际会议 - 第1卷（NIPS'12）。 1223–1231。
- 异质性 - 意识分布式参数服务器：J。Jiang，B。Cui，C。Zhang和L. Yu。 2017。异质性 - 感知分布式参数服务器。在Proc。 2017 ACM国际数据管理会议（Sigmod '17）。 463–478。
- 使用大规模的无监督学习来构建高级特征：QV LE，M。Ranzato，R。Monga，M。Devin，K。Chen，GS Corrado，J。Dean和Ay Ng。 2012年。使用大规模的无监督学习来构建高级功能。在Proc。 29th int'l conf。关于机器学习（ICML'12）。 507–514。
- 15pf的深度学习：科学数据的监督和半监督分类：T。Kurth等。 2017年。15pf的深度学习：科学数据的监督和半监督分类。在Proc。 int'l conf。用于高性能计算，网络，存储和分析（SC '17）。 7：1–7：11。
- Petuum：Ep Xing，Q. Ho，W。Dai，JK Kim，J。Wei，S。Lee，X。Zheng，P。Xie，A。Kumar和Y. Yu。 2015年。Petuum：大数据上分布式机器学习的新平台。 IEEE交易对大数据1，2（2015），49-67。
- Poseidon：H。Zhang，Z. 2015。Poseidon：一种用于高效GPU的系统体系结构。 （2015）。 ARXIV：1512.06216
分层PS：
- 分布式深度学习中的模型准确性和运行时折衷：系统研究：S。Gupta，W。Zhang和F. Wang。 2016年。分布式深度学习中的模型准确性和运行时折衷：系统研究。在IEEE第16届国际数据挖掘会议（ICDM）中。 171–180。
- 盖亚：K。Hsieh，A。Arlap，N。Vijaykumar，D。Konomis，Gr Ganger，PB Gibbons和O. Mutlu。 2017。Gaia：地理分布的机器学习接近LAN速度。在Proc。第14 USENIX conf。在NSDI上。 629–647。
- 使用超级计算机加快神经网络训练：Y. Yu，J。Jiang和X. Chi。 2016。使用超级计算机来加快神经网络培训。在IEEE第22届国际并行和分布式系统（ICPADS）中。 942–947。
反馈：如果您有任何想法或希望将任何其他内容添加到此列表中，请随时为列表做出贡献。
