batch normalization

Batch Normalization : Accelerating Deep Network Training byReducing Internal Covariate Shift

[논문리뷰] ABSTRACT DNN의 훈련은 이전 layer의 매개 변수가 변경됨에 따라 훈련 중에 각 layer의 인풋 분포가 변경된다 이는 낮은 learning rate와 신중한 파라미터 초기화를 요구하기 때문에 훈련 속도를 늦추고 비선형성을 가진 모델을 훈련시키는 것이 어렵다 이 문제를 layer의 입력의 normalization을 통해 해결한다. 각 mini batch에 대한 normalization을 수행하는 것에서 많은 장점을 가진다. 배치 normalization을 통해 훨씬 더 높은 학습 속도로 사용하고 초기화에 덜 민감하다. Introduction 확률적 경사 하강법(SGD)는 심층 네트워크를 훈련하는 효과적인 방법으로 입증되었다. SGD는 학습을 각 단계별로 진행하며, 미니 배치 크기를..