Awesome Distributed Deep Learning

Потрясающее распределенное глубокое обучение

Куративный список удивительных распределенных ресурсов глубокого обучения.

Оглавление

Рамки

Блоги

Документы

Книги

Рамки

1. MXNET - легкое, портативное, гибкое распределенное/мобильное глубокое обучение с динамическим, мутационным DataFlow DEP Dep Scheduler; Для Python, R, Julia, Go, JavaScript и многое другое.
2. GO-MXNET-PREDICTOR-GO привязка для MXNET C_PREDICT_API для вывода с предварительно обученной моделью.
3. Deeplearning4j - распределенная платформа глубокого обучения для Java, Clojure, Scala.
4. Комплект инструментов для распределенного машинного обучения (DMTK) - структура распределенного машинного обучения (сервер параметров) от Microsoft. Позволяет обучающим моделям на больших наборах данных на нескольких машинах. Текущие инструменты, связанные с ним, включают в себя: Lightlda и распределенное (многословное) встраивание слов.
5. ELEPHAS - ELEPHAS - это расширение Keras, которое позволяет вам запускать распределенные модели глубокого обучения в масштабе с Spark.
6. HOROVOD - Распределенная учебная структура для TensorFlow.

Блоги

1. Keras + Horovod = распределено глубокое обучение на стероидах
2. Познакомьтесь с Horovod: Uber с открытым исходным кодом распределил основу для глубокого обучения для Tensorflow
3. Распределенное мнение-обучение-part-1-an-внедрение в распределение
4. Ускорение глубокого обучения с использованием распределенного SGD - обзор
5. Вступление в распределенные системы глубокого обучения:

Документы

Общий:

1. Демистификация параллельного и распределенного глубокого обучения: углубленный анализ параллелизма: обсуждается различные типы параллелизма в DNNS; Синхронное и асинхронное стохастический градиент спуск; Распределенные системы архитектуры; Схемы общения; и моделирование производительности. Основываясь на этих подходах, он также экстраполирует потенциальные направления для параллелизма в глубоком обучении.

Книги

1. Распределенные шаблоны машинного обучения: эта книга учит вас, как взять модели машинного обучения от вашего личного ноутбука в большие распределенные кластеры. Вы изучите ключевые концепции и шаблоны, лежащие в основе успешных систем распределенного машинного обучения, и изучите такие технологии, как Tensorflow, Kubernetes, Kubeflow и Argo Workflows непосредственно от ключевого сопровождающего и участника, с реальными сценариями и практическими проектами.

Модель согласованности:

Синхронизация:

Синхронные методы:

1. Глубокое обучение с помощью COTS HPC Systems: Технология высокопроизводительных вычислительных вычислений (COTS HPC), кластер серверов графических процессоров с межсоединением Infiniband и MPI.
2. Огненная кафедя: почти линейное ускорение глубокой нейронной сети тренировок по вычислительным кластерам: скорость и масштабируемость распределенных алгоритмов почти всегда ограничены накладными расходами между серверами; Обучение DNN не является исключением из этого правила. Следовательно, ключевое рассмотрение этой статьи заключается в сокращении накладных расходов на общение, где это возможно, при этом не ухудшать точность моделей DNN, которые мы обучаем.
3. Sparknet: Обучение глубоким сети в Spark. В материалах Международной конференции по обучению представлений (ICLR).
4. 1-битный SGD: 1-битный стохастический градиентный спуск и применение к распределенной дистрибьютированной DNNS DNNS DNNS, в Interspeech 2014.
5. Масштабируемое распределенное обучение DNN с использованием облачных вычислений на товарные графические процессора: он вводит новый метод масштабирования распределенного стохастического градиентного спуска (SGD) глубоких нейронных сетей (DNN). Метод решает хорошо известную проблему узкого места связи, которая возникает для Data-параллельной SGD, поскольку вычислительные узлы часто необходимы синхронизировать копию модели.
6. Обучение Convnets с несколькими GPU.

Стажи-синхронные методы:

1. Точность модели и компромисс времени выполнения в распределенном глубоком обучении: систематическое исследование.
2. Быстрый алгоритм обучения для глубоких сетей веры: Алгоритм быстрого обучения для глубоких сетей веры
3. Гетерогенные распределенные серверы параметров.: J. Jiang, B. Cui, C. Zhang и L. Yu. 2017. Гетерогенные серверы распределенных параметров. В Proc. 2017 ACM Международная конференция по управлению данными (Sigmod '17). 463–478.
4. Асинхронный параллельный стохастический градиент для невыемного оптимизации: x. Лиан, Ю. Хуан, Ю. Ли и Дж. Лю. 2015. Асинхронный параллельный стохастический градиент для невыемного оптимизации. В Proc. 28th Int'l Conf. На NIPS - том 2. 2737–2745.
5. Установленная асинк-SGD для распределенного глубокого обучения: W. Zhang, S. Gupta, X. Lian и J. Liu. 2016. Застрее-Async-SGD для распределенного глубокого обучения. В Proc. Двадцать пятая международная совместная конференция по искусственному интеллекту (ijcai'16). 2350–2356.

Асинхронные методы:

1. Единый анализ алгоритмов стиля Hogwild!: C. de Sa, C. Zhang, K. Olukotun и C. ré. 2015. Укрощение дикой природы: единый анализ алгоритмов Hogwild! В Proc. 28th Int'l Conf. На NIPS - том 2. 2674–2682.
2. Крупномасштабные распределенные глубокие сети: J. Dean et al. 2012. крупномасштабные распределенные глубокие сети. В Proc. 25 -я Международная конференция по системам обработки нейронной информации - том 1 (NIPS'12). 1223–1231.
3. Асинхронный параллельный стохастический градиент спуск: j. Кейпер и Ф. Пфроундт. 2015. Асинхронный параллельный стохастический градиент спуск: числовое ядро ​​для масштабируемых алгоритмов распределенного машинного обучения. В Proc. Семинар на MLHPC. 1: 1–1: 11.
4. Dogwild!-Распределил Hogwild для процессора и графического процессора: C. Ноэль и С. Осиндеро. 2014. Dogwild!-распределил Hogwild для процессора и графического процессора. В семинаре NIPS по распределенным компьютерным обучению и матричным вычислениям.
5. GPU асинхронного стохастического градиента спуска для ускорения обучения нейронной сети.: Т. Пейн, Х. Джин, Дж. Ян, З. Лин и Т.С. Хуанг. 2013. Графильный графический процессор асинхронно стохастический градиент спуск для ускорения обучения нейронной сети. (2013). Arxiv: 1312.6186
6. Hogwild!: Без блокировки подход к параллелизированию стохастического градиентного происхождения: B. Recht, C. Re, S. Wright и F. niu. 2011. Hogwild: беззаконный подход к параллелизированию стохастического градиента происхождения. В достижениях в области нейронной информационной системы 24. 693–701.
7. Асинхронный стохастический градиент спуск для DNN Training: S. Zhang, C. Zhang, Z. You, R. Zheng и B. Xu. 2013. Асинхронный стохастический градиент спуск для обучения DNN. В Международной конференции IEEE по акустике, речи и обработке сигналов. 6660–6663.

НЕТЕТЕРМИНСКАЯ СООБЩЕНИЯ:

1. Gossipgrad: масштабируемое глубокое обучение с использованием асинхронного градиента сплетни.
2. Как масштабировать распределение глубокого обучения: как масштабировать распределение глубокого обучения?
3. Серверы распределенных параметров с гетерогенностью: исследование распределенного машинного обучения в гетерогенных средах.

Распределение и связь параметров:

Централизация:

Сервер параметров (PS):

1. Geeps: масштабируемое глубокое обучение на распределенных графических процессорах с помощью специфического графического процессора. Сервер
2. Firecaffe: Fn Iandola, MW Moskewicz, K. Ashraf и K. Keutzer. 2016: почти линейное ускорение обучения глубокой нейронной сети по вычислительным кластерам. В конференции IEEE по компьютерному видению и распознаванию шаблонов (CVPR).
3. DeepSpark: H. Kim et al. 2016. Глубокое обучение на основе Spark, поддерживающее асинхронные обновления и совместимость с кофе. (2016).
4. Масштабирование распределенного машинного обучения с сервером параметров: M. Li et al. 2014. Масштабирование распределенного машинного обучения с помощью сервера параметров. В Proc. 11 -я конференция USENIX по проектированию и реализации операционных систем (OSDI'14). 583–598.

Sharded PS:

1. Проект Адам: т. Chilimbi, Y. Suzue, J. Atacible, и K. Kalyanaraman. 2014. Создание эффективной и масштабируемой системы обучения глубокому обучению. В 11 -м симпозиуме USENIX по проектированию и реализации операционных систем. 571–582.
2. Крупномасштабные распределенные глубокие сети: J. Dean et al. 2012. крупномасштабные распределенные глубокие сети. В Proc. 25 -я Международная конференция по системам обработки нейронной информации - том 1 (NIPS'12). 1223–1231.
3. Гетерогенные распределенные серверы параметров: J. Jiang, B. Cui, C. Zhang и L. Yu. 2017. Гетерогенные серверы распределенных параметров. В Proc. 2017 ACM Международная конференция по управлению данными (Sigmod '17). 463–478.
4. Построение высокоуровневых функций с использованием крупномасштабного обучения без присмотра: QV LE, M. Ranzato, R. Monga, M. Devin, K. Chen, GS Corrado, J. Dean и Ay Ng. 2012. Создание высокоуровневых функций с использованием крупномасштабного обучения без присмотра. В Proc. 29th Int'l Conf. на машинном обучении (ICML'12). 507–514.
5. Глубокое обучение в 15pf: контролируемая и полупрофильная классификация для научных данных: T. Kurth et al. 2017. Глубокое обучение в 15pf: контролируемая и полупрофильная классификация для научных данных. В Proc. Int'l Conf. Для высокопроизводительных вычислений, сетевого взаимодействия, хранения и анализа (SC '17). 7: 1–7: 11.
6. Petuum: Ep Xing, Q. Ho, W. Dai, JK Kim, J. Wei, S. Lee, X. Zheng, P. Xie, A. Kumar и Y. Yu. 2015. Petuum: новая платформа для распределенного машинного обучения на больших данных. Транзакции IEEE на больших данных 1, 2 (2015), 49–67.
7. Посейдон: Х. Чжан, З. Ху, Дж. Вей, П. Си, Г. Ким, Q. Хо и Эп Син. 2015. Посейдон: системная архитектура для эффективного глубокого обучения на основе графических процессоров на нескольких машинах. (2015). Arxiv: 1512.06216

Иерархический PS:

1. Точность модели и компромисс времени выполнения в распределенном глубоком обучении: систематическое исследование: S. Gupta, W. Zhang и F. Wang. 2016. Точность модели и компромисс времени выполнения в распределенном глубоком обучении: систематическое исследование. В 16 -й Международной конференции по добыче данных (ICDM). 171–180.
2. Gaia: K. Sieh, A. Harlap, N. Vijaykumar, D. Konomis, Gr Ganger, PB Gibbons и O. Mutlu. 2017. GAIA: Гео-распределенное машинное обучение приближается к скорости локальной сети. В Proc. 14 -й Usenix Conf. на NSDI. 629–647.
3. Использование суперкомпьютера для ускорения обучения нейронной сети: Y. Yu, J. Jiang и X. Chi. 2016. Использование суперкомпьютера для ускорения обучения нейронной сети. В 22 -й Международной конференции IEEE по параллельным и распределенным системам (ICPADS). 942–947.

Обратная связь: Если у вас есть какие -либо идеи или вы хотите, чтобы какой -либо другой контент был добавлен в этот список, не стесняйтесь внести свой вклад в список.