VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

[논문리뷰]

---

ABSTRACT

• 본 논문에서는 Large-scale image recogniotion에서 Convolutional network의 깊이가 성능에 얼마나 영향을 미치는지 조사하였다.
• 매우 작은 3 x 3 convolution filter를 가진 아키텍쳐를 사용하여 depth를 증가시킨 네트워크의 성능을 평가하였다.
• Depth를 Layer 16-19정도의 크기로 증가시켜 상당한 성능 개선을 이루었다.

---

1. INTRODUCTION

• 본 논문에서는 ConvNet 아키텍처 설계의 또 다른 중요한 측면인 깊이를 다룬다.
  • 모든 layer에서 매우 작은(3×3) convolution filter를 사용하기 때문에 실현 가능한 convolution layer를 추가하여 네트워크 깊이를 꾸준히 증가시킴.
• 결과적으로 ILSVRC classification과 localisation에서 좋은 성능을 보임.

---

2. CONVNET CONFIGURATIONS

2.1 ARCHITECTURE

VGGNET 구조 예시

• Training 동안, 224 x 224 사이즈의 RGB 이미지로 고정하여 사용
• Preprocessing : 각 픽셀마다 Training set에서 계산된 mean RGB값을 빼줌
• 이미지는 매우 작은 3 x 3 filter를 가진 stack of convolutional layers를 거쳐서 통과한다. 
• Convolution stride 값은 1 pixel로 고정되어 사용
• Convolution padding은 3x3 conv 마다 1 pixel
  •  spatial padding of conv : convolution 이후에 공간 해상도가 유지되는 것
• Max pooling은 stride 2를 가지며, 2 x 2 픽셀 윈도우에서 수행된다.
  • Spatial pooling은 5개의 max pooling layers에 의해 수행
• A stack of convolutional layers 뒤에 3개의 Fully-Connected(FC) layers가 있음
  • 1, 2번째 layer는 4096개의 채널을 가지고 있다
  • 3번째 layer는 1000개의 채널(클래스의 수)을 가지고 있다.
    •  1000way ILSVRC classification 수행 → 각 class 마다 한 개의 채널 가져서 1000개의 채널 가짐
  • 마지막 layer는 softmax layer이다.
  • FC layer들은 모든 네트워크에서 같은 구성이다.
• 모든 은닉층(hidden layers)는 ReLU 활성화 함수로 구성되어 있다.

2.2 CONFIGURATIONS

Table 1

• A부터 E까지 모델의 깊이가 다른 구조이다. 
• 첫번째 layer에서 채널의 수가 64부터 시작해서 512에 도달하기 까지 max-pooling 이후에 2배씩 증가시킨다.

Table 2

• 각 구성마다의 파라미터의 수

2.3 DISCUSSION

• 네트워크 전체에 걸쳐 매우 작은 3x3 receptive field 사용 (with stride 1).

• 2개의 3 x 3 conv를 가지고 사이에 saptial polling이 없는 layers은 5 x 5 receptive field를 가진다.
• 3개의 3 x 3 conv를 가지고 사이에 saptial polling이 없는 layers은 7 x 7 receptive field를 가진다.
• 단일 7x7 layer 대신 3개의 3x3 conv layer를 사용하여 얻는 것은?
  1. 1개의 non-linear rectification layer 대신 3개의 non-linear rectification layer을 사용해 결정함수의 비선형성 증가
     - feature의 식별성 증가
     
  2. 학습 파라미터 수 감소
     - 3개의 3x3 conv layer stack이 C개의 채널을 가지고 있다고 가정하면 스택은3(3^2*C^2 ) = 27C^2  가중치에 의해 파라미터화되는데 단일 7x7 layer는 7^2C^2 =49C^2  매개변수가 필요해 거의 81%가 더 필요함

• 추가적으로 1 x 1 conv는 covolution의 receptive field에 영향을 미치지 않고 비선형성을 증가시키는 방법이다.

---

3. CLASSIFICATION FRAMEWORK

3.1 TRAINING

• 미니 배치 gradient descent를 사용하여 다항 logistic regression을 최적화하여 학습(with momentum)
• Batch size : 256 / Momentum : 0.9
• Learning rate : 0.001 / weight decay : 0.0005(L2 penalty)
• 1, 2번째 FC layer drop out (ratio : 0.5)
• 전체적으로 learning rate는 3 감소하였고, 74 epochs에서 중단
• 네트워크 가중치의 초기화는 그레이디언트 불안정성으로 인해 학습을 지연시킬 수 있기 때문에 중요하다.
• 학습 지연 막기 위해 무작위 초기화로 학습될 정도로  A (Table 1)부터 시작. 그 후 깊은 architecture을 훈련할 때, 처음 네 개의 conv layer과 마지막 세 개의 FC layer를 net A의 layer로 초기
• 224 x 224 input image를 얻기 위해 training images를 랜덤하게 crop (SGD iteration 1회당 image 1개 crop)
• Training set 증강을 위해, horizontal flipping과 random RGB colour shift

3.2 TESTING

• Testing을 진행할 때, 마지막 3개의 Fully-connected layers를 Convolutional layer로 변환하여 사용함
  • 첫 번째 FC layer -> 7 x 7 convolutional layer
  • 나머지 FC layer -> 1 x 1 convolutional layer
• 결과적으로 Fully-Convolutional Networks가 전체 이미지에 적용된다.
  • Class의 개수와 동일한 개수의 channel을 갖는 class 스코어 맵, 입력 이미지 크기에 따라 variable spatial resolution가 생성
  • Input image size에 따라 변하는 spatial resolution 〓 input image size의 제약이 없어짐
  • 하나의 image를 다양한 scale로 사용한 결과를 조합해 image classification accuracy 개선 가능

---

4. CLASSIFICATION EXPERIMENTS

4.1 SINGLE SCALE EVALUATION

Test image size

• Normalisation layers가 없는 모델에서 LRN을 사용하는 것은 효과가 없다.
• ConvNet 깊이가 증가함에 따라 Classification error가 감소한다
• 성능 : C < D => 같은 깊이임에도 불구하고 세 개의 1 x 1 conv layer를 포함하는 C는 네트워크 전체에 3 x 3 conv layer를 사용하는 D보다 성능이 떨어진다.
  • Conv filter를 사용해 spatial context를 파악하는 것도 중요함을 알 수 있다
• 성능 : B < C => 비선형성의 추가가 성능 개선에 도움을 준다
• B에서 3x3 conv layer 쌍을 5x5 conv layer로 바꾸고 성능 test했더니 top-1 error가 7% 증가
• 성능 : S ∈ [256; 512] > S ∈ [min, max] => training time에 scale jittering이 성능이 더 좋다.

4.2 MULTI SCALE EVALUATION

• Test 시 Scale Jittering의 영향을 평가한다. 
• 고정 S로 훈련된 모델은 Q = {S-32, S+32}로 훈련 이미지 크기에 가까운 세 가지 테스트 이미지 크기에 걸쳐 평가
• 변수 S로 훈련된 모델은 Q = {Smin, 0.5(Smin + Smax), Smax}로 평가
• 결과적으로 Scale Jittering을 사용하면 단일 스케일에서 동일한 모델을 평가하는 것에 비해 성능이 향상된다. 

4.3 MULTI CROP EVALUATION

• 두 평가 기법 (Multi-crop evaluation, dense evaluation)의 soft-max output을 평균화해서 complementarity를 평가
• 성능 자체는 Multi-crop evaluation이 미세하게 좋으나 dense evaluation보다 연산량이 많다.

---

5. CONCLUSION

• 대규모 이미지 분류를 위해 매우 심층적인 컨볼루션 네트워크(최대 19개의 가중치 계층)를 평가했다
• 네트워크의 깊이는 깊어질수록 분류 정확도에 더 좋은 성능을 보이며, 19 레이어까지만 사용한 이유는 오차율이 VGG-19에서 수렴했기 때문이다. 학습 데이터 수가 충분히 많다면 더 깊은 모델이 유용할 수 있다.