'논문리뷰' 태그의 글 목록

Paper Review

Swin Transformer : Hierarchical Vision Transformer using Shifted Windows

2023.10.14

[논문리뷰] ICCV 2021 ABSTRACT 저자들은 기존 텍스트의 단어와 이미지의 픽셀 해상도와의 도메인 차이를 해결하고자 Shifted windows로 표현이 계산되는 계층적인 트랜스포머를 제안한다. Shifted windows 방식은 self-attention 계산을 중첩되지 않도록 제한함으로써 효율성을 높이는 동시에 cross-windows connetion을 허용함으로써 효율성을 높인다. 이러한 방식은 다양한 스케일로 모델링할 수 있는 유연성을 가지며 이미지 크기와 관련하여 선형 계산 복잡성을 가지고 있다. Introduction (a)는 논문에서 제안한 Swin Transformer의 구조이다. 각 로컬 윈도우(빨간색 표시) 내에서만 자체 주의 계산으로 인해 이미지 크기를 입력하기 위한 선형..

Paper Review

Sparse Token Transformer With Attention Back Tracking

2023.04.03

[논문리뷰] ICLR 2023 ABSTRACT 본 논문에서 저자들은 Transformer의 attention operations에 대한 복잡도뿐만 아니라 linear layers를 줄일 수 있는 Token Pruning에 포커스를 맞췄다. 이전에 work들은 추후 layer의 attention의 영향에 대해 고려 없이 feed-forward 단계에서 token을 제거하였다. 이러한 이슈를 해결하고자 최종 예측에 큰 영향을 미치는 토큰을 보존하기 위해 output에서 input까지 각 attention의 중요성을 back-tracking 하는 방법을 제안한다. NLP와 CV에서의 효율성을 실험적으로 입증하였다. Introduction Transformer의 Pruning 접근 방법은 주로 불필요한 모델 가..

Paper Review

TOKEN MERGING: YOUR VIT BUT FASTER

2023.03.28

[논문리뷰] ICLR 2023 notable top 5% ABSTRACT 훈련할 필요 없이 기존 ViT 모델의 처리량을 늘릴수 있는 간단한 방법 일반적이고 가벼운 알고리즘을 사용하여 유사한 토큰들을 점진적으로 합친다. ToMe(Token Merging)은 training동안 쉽게 적용이 가능하다. Introduction Transformer의 토큰을 Run-time에 Pruning하여 더 빠른 모델을 가능하게 하는 분야가 등장 Token Pruning의 대부분은 Training 속도를 높이기 위해 적용할 수 없다. 따라서 Token을 Pruning하는 것 보다 더 나은 방식인 combine을 적용하여 Token Merging 방법을 제안한다. 본 논문에서의 custome matching algorithm..

Paper Review

Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

2023.01.04

[논문리뷰] ABSTRACT 이전의 연구들은 Convolutional neural network에서 "smaller-norm-less-important" 기준이 prune filter에 적용되었다. 본 논문에서, norm-based 기준을 분석하고, 두 가지 요구사항이 항상 충족하지 않는다는 것을 지적한다. 1) Filter들의 표준편차가 커야한다. 2) Filter의 minimum-norm(최소 표준)은 작아야한다. -> 0에 가까워야 한다. 위 두가지 요구 사항에 관계없이 모델을 압축하는 새로운 Filter Pruning 방법(Filter Pruning via Gemotric Median, FPGM)을 제안한다. FPGM은 중복 필터를 기준으로 Pruning을 진행한다. ResNet101 기준, CI..

Paper Review

Convolutional Neural Network Pruning: A Survey

2022.12.30

[논문리뷰] ABSTRACT Deep Convolutional neural networks는 지난 몇 년동안 다양한 분야에서 발전을 가능하게 했다. Deep Convolutional neural networks은 많은 매개변수와 float operation으로 인해 여전히 어려운 과제로 남아있다. 따라서 이러한 Convolutional neural network의 Pruning작업에 관심이 높아지고 있다. Pruning 방법, Training 전략, 추정 기준의 3가지 차원에 따라 분류될 수 있다. Key Words : Convolutional neural networks, machine intelligence, pruning method, training strategy, estimation citer..

Paper Review

Understanding the difficulty of training deep feedforward neural networks

2022.12.28

[논문리뷰] ABSTRACT Random Initialization을 사용한 일반적인 Gradient-descent 알고리즘이 Deep neural network에서 약한 성능을 내는가 Random Initialization을 적용한 Logistic sigmoid 활성화 함수는 평균값 때문에 Deep network에 적합하지 않다. 상위 layer를 포화(saturation)하게 만든다 본 논문에서는 상당히 빠른 수렴을 가져오는 새로운 Initialization Scheme를 도입한다. Deep Neural Networks 딥러닝은 추출한 특징을 이용하여 특징 계층을 학습하는 것을 목표로 하여 진행한다. 추출한 특징 : 낮은 수준의 Feature들의 합성을 통해 만들어진 높은 수준의 Layer로 부터 추..

Paper Review

Batch Normalization : Accelerating Deep Network Training byReducing Internal Covariate Shift

2022.12.27

[논문리뷰] ABSTRACT DNN의 훈련은 이전 layer의 매개 변수가 변경됨에 따라 훈련 중에 각 layer의 인풋 분포가 변경된다 이는 낮은 learning rate와 신중한 파라미터 초기화를 요구하기 때문에 훈련 속도를 늦추고 비선형성을 가진 모델을 훈련시키는 것이 어렵다 이 문제를 layer의 입력의 normalization을 통해 해결한다. 각 mini batch에 대한 normalization을 수행하는 것에서 많은 장점을 가진다. 배치 normalization을 통해 훨씬 더 높은 학습 속도로 사용하고 초기화에 덜 민감하다. Introduction 확률적 경사 하강법(SGD)는 심층 네트워크를 훈련하는 효과적인 방법으로 입증되었다. SGD는 학습을 각 단계별로 진행하며, 미니 배치 크기를..

Paper Review

Deep Residual Learning for Image Recognition

2022.12.26

[논문리뷰] ABSTRACT 이전의 학습 방법보다 깊은 네트워크의 학습을 좀 더 용이하게 하기 위한 프레임워크를 제시한다. Residual networks가 최적화하기 더 쉽고, Depth가 증가된 모델에서도 상당히 증가된 정확도를 얻을 수 있음을 보여준다. INTRODUCTION Is learning better networks as easy as stacking more layers? 더 나은 네트워크를 학습하는 것이 더 많은 계층을 쌓는 것만큼 쉬운가? 위 그림에서 layer가 더 깊은 빨간색이 error가 더 높은 것을 확인할 수 있다. layer가 깊어질수록 gradient가 vanishing/exploding 하는 문제가 존재한다. 이 문제는 normalized initialization, b..

티스토리툴바