'pruning' 태그의 글 목록

Paper Review

TOKEN MERGING: YOUR VIT BUT FASTER

2023.03.28

[논문리뷰] ICLR 2023 notable top 5% ABSTRACT 훈련할 필요 없이 기존 ViT 모델의 처리량을 늘릴수 있는 간단한 방법 일반적이고 가벼운 알고리즘을 사용하여 유사한 토큰들을 점진적으로 합친다. ToMe(Token Merging)은 training동안 쉽게 적용이 가능하다. Introduction Transformer의 토큰을 Run-time에 Pruning하여 더 빠른 모델을 가능하게 하는 분야가 등장 Token Pruning의 대부분은 Training 속도를 높이기 위해 적용할 수 없다. 따라서 Token을 Pruning하는 것 보다 더 나은 방식인 combine을 적용하여 Token Merging 방법을 제안한다. 본 논문에서의 custome matching algorithm..

Paper Review

Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

2023.01.04

[논문리뷰] ABSTRACT 이전의 연구들은 Convolutional neural network에서 "smaller-norm-less-important" 기준이 prune filter에 적용되었다. 본 논문에서, norm-based 기준을 분석하고, 두 가지 요구사항이 항상 충족하지 않는다는 것을 지적한다. 1) Filter들의 표준편차가 커야한다. 2) Filter의 minimum-norm(최소 표준)은 작아야한다. -> 0에 가까워야 한다. 위 두가지 요구 사항에 관계없이 모델을 압축하는 새로운 Filter Pruning 방법(Filter Pruning via Gemotric Median, FPGM)을 제안한다. FPGM은 중복 필터를 기준으로 Pruning을 진행한다. ResNet101 기준, CI..

Paper Review

Convolutional Neural Network Pruning: A Survey

2022.12.30

[논문리뷰] ABSTRACT Deep Convolutional neural networks는 지난 몇 년동안 다양한 분야에서 발전을 가능하게 했다. Deep Convolutional neural networks은 많은 매개변수와 float operation으로 인해 여전히 어려운 과제로 남아있다. 따라서 이러한 Convolutional neural network의 Pruning작업에 관심이 높아지고 있다. Pruning 방법, Training 전략, 추정 기준의 3가지 차원에 따라 분류될 수 있다. Key Words : Convolutional neural networks, machine intelligence, pruning method, training strategy, estimation citer..

TOKEN MERGING: YOUR VIT BUT FASTER

Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

Convolutional Neural Network Pruning: A Survey

티스토리툴바