Count Sketch Optimizers

카운트 스케치 최적화기

카운트 스케치를 통한 그라디언트 최적화기 압축

Ryan Spring, Anastasios Kyrillidis, Vijai Mohan, Anshumali Shrivastava의 ICML 2019 신문

Bert-Large 교육 결과

NVIDIA V100 DGX-1 서버에서 활성화 체크 포인팅 및 혼합 정밀 훈련 (FP16)으로 교육

베르트 라지	아담	Count -Min 스케치 (CMS) -RMSProp
시간 (일)	5.32	5.52
크기 (MB)	7,097	5,133
당혹감을 테스트하십시오	4.04	4.18

지침

1. 요구 사항을 설치하십시오
2. $ pythonpath에 Optimizers 폴더를 추가하십시오

요구 사항

1. 토치
2. 횃불
3. 컵
4. pynvrtc

예

1. Imagenet -Resnet -18
2. LM1B- 변압기 / LSTM
3. Wikitext -2 -LSTM

밀도가 높은 층 지원

우리는 업데이트 희소성없이 신경망의 조밀 한 층을 압축하는 것을 지원합니다. 교육하는 동안 보조 변수를 업데이트하고 단일 퓨즈 CUDA 커널에서 각 매개 변수에 대한 그라디언트 업데이트를 수행합니다. 조밀 한 커널은 드문 드문 커널과 같습니다. 주요 차이점은 글로벌 메모리에서 조밀 한 레이어에 대한 보조 변수를 명시 적으로 피하는 것입니다. 대신, 우리는 GPU 스트리밍 멀티 프로세서의 공유 메모리 내부에 액세스합니다. 이 주요 기능이 없으면 우리의 접근 방식은 조밀 한 층에 대한 GPU 메모리를 절약하지 못할 것입니다. 희소 한 경우, 우리는 0이 아닌 그라디언트 업데이트가 보조 변수보다 상당히 작다고 가정합니다. (자세한 내용은 dense_exp_cms.py를 참조하십시오)

참조

1. 변압기 아키텍처 -Nvidia Megatron 언어 모델
2. 카운트 스케치를 통한 그라디언트 최적화제 압축 (ICML 2019)