Batch Normalization : Accelerating Deep Network Training byReducing Internal Covariate Shift

[논문리뷰]

---

ABSTRACT

• DNN의 훈련은 이전 layer의 매개 변수가 변경됨에 따라  훈련 중에 각 layer의 인풋 분포가 변경된다
  • 이는 낮은 learning rate와 신중한 파라미터 초기화를 요구하기 때문에 훈련 속도를 늦추고 비선형성을 가진 모델을 훈련시키는 것이 어렵다
  • 이 문제를 layer의 입력의 normalization을 통해 해결한다.
• 각 mini batch에 대한 normalization을 수행하는 것에서 많은 장점을 가진다. 
  • 배치 normalization을 통해 훨씬 더 높은 학습 속도로 사용하고 초기화에 덜 민감하다.

---

Introduction

• 확률적 경사 하강법(SGD)는 심층 네트워크를 훈련하는 효과적인 방법으로 입증되었다.
  • SGD는 학습을 각 단계별로 진행하며, 미니 배치 크기를 고려하여 학습한다.
  • SGD는 간단하고 효과적이지만, 모델 하이퍼 파라미터, 특히 최적화에 사용되는 학습 속도와 모델 매개 변수의 초기 값을 신중하게 조정해야 한다.
• 각 layer는 새로운 input 분포에 적응해야해서 input 분포의 변화는 covariate shift 문제를 야기한다.
• Training과 Test 데이터 사이에 동일한 분포를 갖는 것이 더 효과적인 학습을 진행한다.

Sigmoid Function

• Sigmoid 활성화 함수의 경우 x가 증가함에 따라 g'(x)가 0이 되는 경향이 있다. 이것은 기울기가 소실되고 모델이 천천히 훈련된다는 것을 의미한다. (gradient vanishing, saturation problem) 
  • 해결 방안으로 ReLU와 careful initialization, small learning rate를 통해 해결한다. 하지만 비선형 입럭의 분포가 네트워크에서 훈련할 때 더 안정적으로 유지되도록 보장이 된다면 saturated 상태에 갇힐 가능성이 적고 훈련이 가속화될 것이다.

• 논문의 아이디어 : 비선형성 input의 distribution은 안정적으로 만듦으로써 opimizer가 saturated regime에 빠지지 않도록 만들어 학습의 속도를 개선시킬 수 있을 것이다.

인풋 u가 들어옴에 따라 F1, F2 2개의 layer를 통과

• 훈련 과정에서 심층 네트워크의 내부 노드 분포의 변화를 Internal Covariate Shift라 부른다.
  • 이를 제거하면 더 빠른 학습이 가능하다. 따라서 이를 줄이기 위해 Batch normalization를 제안한다.
  • 논문에서는 앞쪽의 F1의 파라미터 변경에 따라서 F2에 영향을 받을 수 밖에 없다는 점을 언급하였다.
  • 이러한 안쪽의 input distribution이 고정된다면 보다 좋은 결과를 낼 것이다라고 가정함.
• Batch normalization은 초기 값에 대한 그레디언트의 의존성을 줄임으로써 네트워크의 그레디언트 흐름에 유익한 영향을 미친다. 이를 통해 격차의 위험 없이 훨씬 더 높은 학습률을 사용할 수 있다.
• 또한 Batch normalization은 모델의 정규화와 Dropout의 필요성을 감소시킨다. 마지막으로, Batch normalization은 네트워크가 saturating 상태에 빠지는 것을 방지하여 saturating 비선형성을 사용할 수 있게 한다.

---

Towards Reducing Internal Covariate Shift

• Internal Covariate Shift를 훈련 중 네트워크 매개 변수의 변화로 인한 네트워크 활성화 분포의 변화로 정의한다. 
• 훈련을 개선하기 위해 Internal Covariate Shift을 줄일 필요가 있다. 훈련이 진행됨에 따라 layer의 입력 x의 분포를 고정함으로써 훈련 속도가 향상될 것으로 기대한다. 
• 모델 학습시 input이 whitening되면, 더 빨리 수렴된다는 것을 이미 알려져 왔다. 각 layer input을 whitening 시킨다면, input의 분포가 고정되므로 Internal Covariate Shift를 줄일 수 있다.
  • whitening : input의 feature들을 uncorrelated하게 만들어주고, 평균 0, 분산 1로 만들어주는 작업
• 모든 step 또는 일정 간격마다 네트워크를 수정 혹은 최적화 파라미터를 수정하는 방법을 고려해볼 수 있었지만 이런 수정이 최적화 단계 사이에 있다면, gradient의 효과를 감소시킨다. 
  • layer의 입력 u에 편향 b를 더한 것을 x라고 하면 (x=u+b) 여기에 평균을 빼주어 normalization을 한다. 평균값을 빼주는 과정에서 b도 같이 빠지게 되어 결국 출력에서 b의 영향이 없어진다고 논문에서 설명하고 있다. 

---

Normalization vs mini - batch Statistics

• 각 layer의 입력을 완전히 whitening하는 것은 비용이 많이 들고 모든 layer에서 차별화할 수 있는 것은 아니기 때문에 두 가지 단순화를 제안한다. 
• 첫 번째 방법
  • 첫 번째는 layer의 입력과 출력의 특징을 같이 whitening하는 대신, 평균 0과 분산 1을 가짐으로써 각 스칼라 특징을 독립적으로 정규화 하는 것이다. d차원 입력인 layer인 경우, 각 차원을 정규화할 것이다.
  • 아래 정규화는 feature들이 decorrelated가 아닌 경우에도 수렴을 가속화 한다.

첫번째 normalize

parameter gamma, beta

• 위 Normalization에는 단점이 존재한다. sigmoid의 입력을 위와 같이 normalize하는 것은 비선형성의 linear regime(Sigmoid의 선형적인 구간)로 제한하게 한다. 따라서 비선형성을 잃게 된다. 이를 해결하기 위해 normalize된 값을 scale, shift 해주는 파라미터 감마와 베타를 추가한다.
• $ \gamma^(k) = sqrt(Var[x^(k)]) $, $ \beta^(k) = E[x^(k)] $ 로 설정해서 원래의 데이터로 되돌릴수 있다.
• 두 번째 방법
  • normalize는 전체 데이터셋을 처리하지만 SGD는 batch 단위로 데이터를 처리한다. 따라서 SGD를 이용하면 전체 데이터셋을 normalize하는 것은 비현실적이므로 normalize도 batch 단위로 해준다.

Batch normalization 과정

• 위 그림과 같이 Batch normalization이 이루어진다.
• mini-batch mean과 mini-batch variace를 구하여 normalize를 수행하고 감마와 베타를 통해 비선형성을 유지하기 위해 scale, shift한다.

Normalization vs mini - batch Statistics

Batch normalization Network를 Training하는 절

 

Batch Normalization enables higher learning rates

• 이전의 딥 네트워크에서는 너무 높은 학습률은 gradient exploding, gradient vanishing을 초래할 수 있었다. 하지만 Batch normalization을 통해 이를 해결하는데 도움이 되었다.
• 네트워크 전체에서 활성화를 Normalization함으로써 gradient의 활성화에서 더 큰 증폭되는 것을 방지한다.
  • ex ) 비선형성의 포화 상태에 갇히는 것을 방지
• Batch Normalization을 사용하면 layer을 통한 역전파는 매개 변수의 크기에 영향을 받지 않는다. 

Batch Normalization regularizes the model

• Batch Normalization을 통해 Dropout을 제거하거나 사용을 줄일 수 있음을 발견하였다.
• Batch Normalization은 Network 일반화에 유리하다.

---

Conclusion

• 심층 네트워크의 훈련을 가속화하기 위한 새로운 매커니즘을 제시하였다.
• 활성화를 Normalization하는 것과 네트워크 아키텍처 자체에 이러한 Normalization을 통합하는 것에서 제안을 하였다.
• 확률적 최적화 방법을 가능하게 하기 위해 각 mini-batch에 Normalization를 수행하고 Normalization 매개 변수를 통해 gradient를 역전파한다. 결과 비선형성으로 훈련될 수 있고, 훈련 속도 증가에 더 관대하여, Normalization를 위해 Dropout이 필요하지 않은 경우가 많았다.
• Batch Normalization의 목표는 Training 전반에 걸쳐 활성화 값의 안정적인 분포를 달성하는 것이다.
  • 실험에서 첫 번째와 두 번째를 일치시키면 안정적인 분포를 얻을 가능성이 높기 때문에 비선형성 전에 Normalization를 적용한다.