Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

[논문리뷰]

---

ABSTRACT

• 이전의 연구들은 Convolutional neural network에서 "smaller-norm-less-important" 기준이 prune filter에 적용되었다.
• 본 논문에서, norm-based 기준을 분석하고, 두 가지 요구사항이 항상 충족하지 않는다는 것을 지적한다.
  • 1) Filter들의 표준편차가 커야한다.
  • 2) Filter의 minimum-norm(최소 표준)은 작아야한다. -> 0에 가까워야 한다.
• 위 두가지 요구 사항에 관계없이 모델을 압축하는 새로운 Filter Pruning 방법(Filter Pruning via Gemotric Median, FPGM)을 제안한다.
• FPGM은 중복 필터를 기준으로 Pruning을 진행한다.
• ResNet101 기준, CIFAR-10에서 52%, ILSVRC2012에서 42%이상의 FLOP을 감소시켰다.

---

Introduction

• 더 깊고, 넓은 deep CNN 아키텍쳐는 컴퓨터 비전에서 우수한 성능을 나타낸다. 하지만 많은 컴퓨팅적 비용이 들어갈 뿐만 아니라, 모바일 장치에 배치하는 것을 어렵게 만든다.
• 최근 Pruning의 개발에 두 가지 카테고리로 나눠질 수 있다.
  • 1) Weight Pruning :  unstructured sparsities를 야기할 수 있는 필터의 가중치를 삭제하는 방법
    • -> 높은 효율성을 보이기 어려움
  • 2) Filter Pruning : 다이렉트로 선택한 필터 전체를 없애고, 모델의 원래 구조로 남겨두는 방법
  • 따라서, Filter Pruning이 Networks를 acceleration하고 model size를 감소시키기 위해 더욱 선호된다.

Fig 1

• 기존의 Pruning은 "smaller-norm-less-important"의 기준에 따라 Filter Pruning을 진행한다. Fig 1(a)와 같이 모델에서 Filter의 norm을 계산한 후 특정 threshold T를 이용하여 더 작은 Filter를 선택하였다.
• 두 가지 전제 조건을 만족스럽게 충족할 때 이상적인 norm 분포는 Fig 1의 파란색 곡선으로 표시된다. 하지만 항상 사실인 것은 아니다.
• 상대적으로 기여도가 낮은 Filter를 Pruning하는 방법과 달리 FPGM은 대체 가능한 기여도가 가장 높은 Filter를 선택한다. 구체적으로 Filter의 Geometric Median을 계산한다. 
• 총 3 가지 기여가 있다.
  • (1) 이전의 상대적으로 덜 중요한 filter를 prune하는 norm-based criterion을 분석하고, 한계를 초래하는 두 가지 기본 요구 사항에 대해 자세히 설명한다.
  • (2) norm-based criterion이 충족되지 못했을 때 여전히 좋은 성능을 보이는 중복 정보를 포함한 대체 가능한 filter를 제거하기 위한 FPGM을 제안한다.
  • (3) 두 벤치마크는 FPGM의 효과와 효율성을 보여준다.

---

Related Works

• Weight Pruning은 항상 unstructured model을 초래하여 BLAS library를 배포하기가 어려운 반면 Filter Pruning은 장치의 사용 용량을 줄일뿐만 아니라, 계산 비용을 줄여 추론을 가속화한다.
• 본 논문의 장점을 제시한다.
  • (1) Batch normalization operator에서 sparsity을 적용하는데 더 많은 강점을 갖는다
  • (2) 채널을 Pruning한 후, 성능 저하를 줄이기 위해 fine-tuning이 필요한데 논문에서의 방법은 일반적인 training 절차와 결합하기 때문에 추가적인 fine-tuning이 필요하지 않다.
  • (3) Scaling factor의 gradient 계산이 필요한데, 이 과정에서 많은 cost는 불가피하다. 하지만 논문에서의 접근 방식은 Scaling factor의 gradient을 계산하지 않고 신경망을 가속화할 수 있다.

---

Methodology

• $ N_{i}, N_{i+1} $ 을 input channel의 숫자와 $ i $ 번째 convolution layer에 대한 output channel을 나타내기 위해 사용한다.
• $ F_{i, j}~ $는 $ i $번째 layer의 $ j $번째 filter를 나타낸다. 그리고 Filter $ F_{i, j} $의 차원은 $ R^{N_{i} \times K \times K} $로 나타낸다. $ K $는 네트워크의 커널 사이즈이다.
• 네트워크 $ W^{(i)} $의 $ i_{th} $ layer는 $ {F_{i,j},1 <= j <= N_{i+1} } $ 로 나타낼 수 있다.

Analysis of Norm-based Criterion

Fig 2

• 초록 : 현실적인 norm 분포 / 파랑 : 이상적인 norm 분포
• (a) : Small Norm Deviation : Filter Norm 분포의 편차가 너무 작을 수 있으며, Fig 2-(a)처럼 작은 간격으로 집중된다는 것을 의미한다. 표준 편차가 작으면 검색 공간이 작아지기 때문에 제거할 필터를 선택하기에 적합한 임계값을 찾기 어려워진다.
• (b) : Large Minimum Norm : Fig2-(b)와 같이 minimum norm을 가지는 filter는 작지 않을 수 있다. 이 조건에서 가장 중요하지 않다고 판단되는 필터도 네트워크에 상당히 기여하므로 모든 필터가 매우 유용하다. 따라서 minimum norm 값으로 filter를 제거하면 네트워크에 부정적인 영향을 미친다.

Norm Statistic in Real Scenarios

Fig 3

• Fig 3의 초록색 수직 선은 각각의 norm distribution을 보여준다. 그리고 파란색 곡선은 랜덤 변수의 확률 밀도 함수를 추정하는 커널 분포 추정치(KDE)를 나타낸다.
• Small Norm Deviation in Network : Fig3-(b)처럼 $ 10^{-6} $에 집중된 많은 양의 필터가 있다. 그리고 3(c)처럼 Norm의 간격 범위가 약 0.3으로 첫 번째 layer의 간격보다 훨씬 작다. Fig3-(g)에 나타난바와 같이 마지막 layer의 경우, 대부분의 필터가 몰려있다. -> 너무 조밀하게 분포되어 있으므로 중요한 필터와 다른 필터와 구별하기 위한 적절한 임계값을 선택하기 어렵다.
• Large Minimum Norm in Network : Fig3-(g)의 Filter 최소 Norm이 약 0.8이며, 이는 첫 번째 layer와 비교할 때 크다.(Fig3-(e)) 이러한 상황에서 최소 Norm을 가진 필터는 상대적으로 덜 중요하지만 여전히 네트워크에서 중요한 기여를 한다.

Filter Pruning via Geometric Median

• Norm-based criterion을 제거하기 위해 geometric median에서 영감을 얻은 새로운 filter pruning 방법을 제시한다.
• 각 n개의 점의 집합이 주어지면, 유클리드 거리의 합을 최소화 하는 점 x를 찾는다.

Geometric median of d-demension euclidean space

• Geometric median은 유클리드 공간의 데이터에 대한 중심성의 강력한 추정치이기 때문에, $ F_{i}^{GM} $ 을 사용하여 단일 i번째 layer 내의 모든 필터의 공통 정보를 얻는다.

• i 번째 layer에서 일부 필터가 해당 layer의 Geometric median과 같거나, 유사한 값을 가지는 경우 :

• $ F_{i, j*} $ 필터는 동일한 layer의 다른 필터로 표현될 수 있으므로 이 필터들을 제거하는 것은 네트워크 성능에 부정적인 영향을 미치기 않는다.
• $ F_{i}^{GM} $은 i번째 layer의 필터 중 값을 최소로 하게 하는 값이다.

• g(x)를 새로 정의하여 새로운 pruning 알고리즘을 생각한다면 위와 같다.

---

Experiments

• CIFAR-10, ILSVRCC2012 데이터셋을 사용

• FPGM만 사용했을 때 "FPGM only", FPGM과 norm-based criterion이 결합한 기준은 "FPGM-mix"로 표시
• "FPGM 40%"는 layer의 40% 필터가 FPGM으로만 선택되었음을 의미한다. 

---

Conclusion

• 본 논문에서는 norm-based filter pruning에 대한 가본 요구 사항을 자세히 설명하고, 그 한계를 지적한다. 
• 이를 해결하기 위해 FPGM이라는 Geometric Median을 기반으로 하는 새로운 Filter Pruing을 제안한다.