홈페이지>프로그래밍 관련>기타 소스코드
다운로드

멋진 분산 딥 러닝

멋진 분산 딥 러닝 리소스의 선별 된 목록.

목차

프레임 워크

블로그

서류

서적

프레임 워크

  1. MXNET- 역동적 인 돌연변이 인식 데이터 플로우 DEP 스케줄러를 갖춘 가벼운, 휴대용, 유연한 분산/모바일 딥 러닝; Python, R, Julia, Go, JavaScript 등의 경우.
  2. go-mxnet-predictor-mxnet c_predict_api에 대한 Go 바인딩으로 미리 훈련 된 모델과의 추론을 수행하십시오.
  3. Deeplearning4J- 자바, Clojure, Scala를위한 분산 딥 러닝 플랫폼.
  4. 분산 기계 학습 도구 키트 (DMTK) - Microsoft의 분산 머신 러닝 (Parameter Server) 프레임 워크. 여러 시스템에서 대규모 데이터 세트에서 교육 모델을 활성화합니다. 현재 도구와 함께 번들로 제공됩니다. Lightlda 및 Distributed (Multisense) Word Embedding이 포함됩니다.
  5. Elephas- Elephas는 Keras의 확장으로 Spark와 함께 분산 딥 러닝 모델을 규모로 실행할 수 있습니다.
  6. Horovod- 텐서 플로우를위한 분산 교육 프레임 워크.

블로그

  1. keras + horovod = 스테로이드에 대한 딥 러닝
  2. Horovod 만나기 : Uber의 오픈 소스 분산 딥 러닝 프레임 워크 Tensorflow
  3. 분산-깊은 학습-파트 -1-introduction-to-distributed-networks/
  4. 분산 된 SGD를 사용하여 딥 러닝 가속화 - 개요
  5. 분산 딥 러닝 시스템에 대한 소개 :

서류

일반적인:

  1. 평행하고 분산 된 딥 러닝 : 심층적 인 동시성 분석 : DNN의 다른 유형의 동시성에 대해 논의합니다. 동기 및 비동기 확률 론적 구배 하강; 분산 시스템 아키텍처; 커뮤니케이션 계획; 성능 모델링. 이러한 접근법에 기초하여, 딥 러닝에서 병렬 처리에 대한 잠재적 지시를 외삽한다.

서적

  1. 분산 기계 학습 패턴 :이 책은 개인 노트북에서 대형 분산 클러스터로 기계 학습 모델을 가져 오는 방법을 알려줍니다. 성공적인 분산 머신 러닝 시스템의 주요 개념과 패턴을 탐색하고 실제 시나리오 및 실무 프로젝트를 통해 Tensorflow, Kubernetes, Kubeflow 및 Argo 워크 플로우와 같은 기술을 직접 학습합니다.

모델 일관성 :

동기화:

동기 기술 :

  1. COTS HPC 시스템을 통한 딥 러닝 : 상품 외부 고성능 컴퓨팅 (COTS HPC) 기술, Infiniband 상호 연결 및 MPI가있는 GPU 서버 클러스터.
  2. Firecaffe : 컴퓨팅 클러스터에 대한 심층 신경망 훈련의 거의 초선의 가속 : 분산 알고리즘의 속도와 확장 성은 서버 간의 통신 오버 헤드에 의해 거의 항상 제한됩니다. DNN 교육은이 규칙에 예외가 아닙니다. 따라서이 논문이하는 주요 고려 사항은 가능한 한 커뮤니케이션 오버 헤드를 줄이는 동시에 우리가 훈련하는 DNN 모델의 정확성을 저하시키지 않는 것입니다.
  3. Sparknet : Spark에서 깊은 네트워크를 훈련시킵니다. ICLR (International Conference on Learning Conference).
  4. 1 비트 SGD : Interspeech 2014에서 음성 DNN의 데이터 평행 분산 교육에 대한 1 비트 확률 구배 출신 및 적용.
  5. 상품 GPU 클라우드 컴퓨팅을 사용한 확장 가능한 분산 DNN 교육 : DNN (Deep Neural Networks)의 분산 확률 구배 하강 (SGD) 교육을 확장하는 새로운 방법을 소개합니다. 이 방법은 컴퓨팅 노드가 모델의 복제본을 동기화해야하기 때문에 데이터 평행 SGD에 발생하는 잘 알려진 통신 병목 현상 문제를 해결합니다.
  6. Convnets의 멀티 GPU 훈련 : 여러 GPU에서 콩베의 훈련

오래된 동시 기술 :

  1. 분산 딥 러닝에서 모델 정확도 및 런타임 트레이드 오프 : 체계적인 연구.
  2. 깊은 신념 그물에 대한 빠른 학습 알고리즘 : 깊은 신념 그물에 대한 빠른 학습 알고리즘
  3. 이질성 인식 분산 매개 변수 서버 : J. Jiang, B. Cui, C. Zhang 및 L. Yu. 2017. 이질성 인식 분산 매개 변수 서버. Proc. 2017 ACM 국제 데이터 관리 회의 (SIGMOD '17). 463–478.
  4. 비 값 비트 최적화를위한 비동기 평행 확률 구배 : x. Lian, Y. Huang, Y. Li 및 J. Liu. 2015. 비 컨트리 최적화를위한 비동기 평행 확률 기울기. Proc. 28th Int'l conf. NIPS- 볼륨 2. 2737–2745.
  5. 분산 딥 러닝을위한 Staleness-Aware Async-SGD : W. Zhang, S. Gupta, X. Lian 및 J. Liu. 2016. 분산 딥 러닝을위한 Staleness-Aware Async-SGD. Proc. 인공 지능에 관한 25 번째 국제 공동 회의 (IJCAI'16). 2350–2356.

비동기 기술 :

  1. Hogwild!-스타일 알고리즘의 통합 분석 : C. de Sa, C. Zhang, K. Olukotun 및 C. Ré. 2015. 야생 조정 : Hogwild!-스타일 알고리즘의 통일 된 분석. Proc. 28th Int'l conf. NIPS -Volume 2. 2674–2682.
  2. 대규모 분산 깊은 네트워크 : J. Dean et al. 2012 년. 대규모 분산 깊은 네트워크. Proc. 신경 정보 처리 시스템에 관한 제 25 차 국제 회의 -12 권 (NIPS'12). 1223–1231.
  3. 비동기 평행 확률 론적 구배 하강 : j. Keuper와 F. Pfreundt. 2015. 비동기 평행 확률 론적 구배 출신 : 확장 가능한 분산 기계 학습 알고리즘을위한 숫자 코어. Proc. MLHPC 워크숍. 1 : 1–1 : 11.
  4. Dogwild!-CPU 및 GPU를위한 Hogwild 분배 : C. Noel 및 S. Osindero. 2014. Dogwild!-CPU & GPU 용으로 Hogwild가 분산 된 Hogwild. 분산 기계 학습 및 매트릭스 계산에 대한 NIPS 워크숍에서.
  5. 신경망 훈련 속도를 높이기 위해 GPU 비동기 확률 구배 하강 : T. Paine, H. Jin, J. Yang, Z. Lin 및 TS Huang. 2013. GPU 신경망 훈련 속도를 높이기 위해 GPU 비동기 확률 구배 출신. (2013). ARXIV : 1312.6186
  6. Hogwild! : 확률 론적 구배 하강을 병렬화하는 자물쇠가없는 접근 : B. Recht, C. Re, S. Wright 및 F. Niu. 2011. Hogwild : 확률 론적 구배 하강을 병렬화하는 자물쇠가없는 접근. 신경 정보 처리 시스템의 발전 24. 693–701.
  7. DNN 훈련을위한 비동기 확률 구배 하강 : S. Zhang, C. Zhang, Z. You, R. Zheng 및 B. Xu. 2013. DNN 훈련을위한 비동기 확률 구배 하강. 음향, 음성 및 신호 처리에 관한 IEEE 국제 회의에서. 6660–6663.

비 결정적 의사 소통 :

  1. 가십 학년 : 가십 통신 기반 비동기 구배 출신을 사용한 확장 가능한 딥 러닝
  2. 분산 딥 러닝을 확장하는 방법 : 분산 딥 러닝을 확장하는 방법은 무엇입니까?
  3. 이질성 인식 분산 매개 변수 서버 : 이종 환경에서 분산 기계 학습에 대한 연구.

매개 변수 분포 및 통신 :

집중:

매개 변수 서버 (PS) :
  1. GEEPS : GPU- 전문화 된 매개 변수를 갖춘 분산 GPU에 대한 확장 가능한 딥 러닝. 섬기는 사람.
  2. Firecaffe : FN Iandola, MW Moskewicz, K. Ashraf 및 K. Keutzer. 2016 : 컴퓨팅 클러스터에 대한 심층 신경망 교육의 거의 라인 넥타이 가속도. 컴퓨터 비전 및 패턴 인식 (CVPR)에 관한 IEEE 회의에서.
  3. DeepSpark : H. Kim et al. 2016. 스파크 기반 딥 러닝 지원 비동기 업데이트 및 카페 호환성. (2016).
  4. 매개 변수 서버로 분산 기계 학습을 스케일링 : M. Li et al. 2014. 매개 변수 서버로 분산 기계 학습을 스케일링합니다. Proc. 운영 체제 설계 및 구현에 관한 제 11 차 USENIX 회의 (OSDI'14). 583–598.
Sharded PS :
  1. 프로젝트 아담 : t. Chilimbi, Y. Suzue, J. Apacible 및 K. Kalyanaraman. 2014. 효율적이고 확장 가능한 딥 러닝 교육 시스템 구축. 운영 체제 설계 및 구현에 관한 11 번째 Usenix 심포지엄. 571–582.
  2. 대규모 분산 깊은 네트워크 : J. Dean et al. 2012 년. 대규모 분산 깊은 네트워크. Proc. 신경 정보 처리 시스템에 관한 제 25 차 국제 회의 -12 권 (NIPS'12). 1223–1231.
  3. 이질성 인식 분산 매개 변수 서버 : J. Jiang, B. Cui, C. Zhang 및 L. Yu. 2017. 이질성 인식 분산 매개 변수 서버. Proc. 2017 ACM 국제 데이터 관리 회의 (SIGMOD '17). 463–478.
  4. 대규모 감독되지 않은 학습을 사용하여 높은 수준의 기능 구축 : QV LE, M. Ranzato, R. Monga, M. Devin, K. Chen, GS Corrado, J. Dean 및 Ay NG. 2012. 대규모 감독되지 않은 학습을 사용하여 고급 기능을 구축합니다. Proc. 29 번째 int'l conf. 머신 러닝 (ICML'12). 507–514.
  5. 15pf의 딥 러닝 : 과학 데이터에 대한 감독 및 반 감독 분류 : T. Kurth et al. 2017. 15pf의 딥 러닝 : 과학 데이터에 대한 감독 및 반 감독 분류. Proc. int'l conf. 고성능 컴퓨팅, 네트워킹, 스토리지 및 분석 (SC '17). 7 : 1–7 : 11.
  6. Petuum : Ep Xing, Q. Ho, W. Dai, JK Kim, J. Wei, S. Lee, X. Zheng, P. Xie, A. Kumar 및 Y. Yu. Petuum : 빅 데이터에 대한 분산 기계 학습을위한 새로운 플랫폼. 빅 데이터 1, 2 (2015), 49–67의 IEEE 거래.
  7. Poseidon : H. Zhang, Z. Hu, J. Wei, P. Xie, G. Kim, Q. Ho 및 Ep Xing. 2015. Poseidon : 여러 기계에서 효율적인 GPU 기반 딥 러닝을위한 시스템 아키텍처. (2015). ARXIV : 1512.06216
계층 적 PS :
  1. 분산 딥 러닝의 모델 정확도 및 런타임 트레이드 오프 : 체계적인 연구 : S. Gupta, W. Zhang 및 F. Wang. 2016. 분산 딥 러닝에서 모델 정확도 및 런타임 트레이드 오프 : 체계적인 연구. IEEE 16 차 국제 데이터 마이닝 (ICDM)에서. 171–180.
  2. Gaia : K. Hsieh, A. Harlap, N. Vijaykumar, D. Konomis, Gr Ganger, PB Gibbons 및 O. Mutlu. 2017. Gaia : LAN 속도에 접근하는 지리 분포 기계 학습. Proc. 14 번째 USENIX CONC. NSDI에서. 629–647.
  3. 슈퍼 컴퓨터 사용을 사용하여 신경망 교육 속도 : Y. Yu, J. Jiang 및 X. Chi. 2016. Supercomputer 사용을 사용하여 신경망 교육 속도. IEEE 22nd International Conference on Parallel and Distributed Systems (ICPAD)에서. 942–947.

피드백 : 아이디어가 있거나이 목록에 다른 콘텐츠를 추가하려면 자유롭게 목록에 기여하십시오.

확장하다
추가 정보
관련 애플리케이션
추천
관련 정보 전체