'vision transformer' 태그의 글 목록

Paper Review

Swin Transformer : Hierarchical Vision Transformer using Shifted Windows

2023.10.14

[논문리뷰] ICCV 2021 ABSTRACT 저자들은 기존 텍스트의 단어와 이미지의 픽셀 해상도와의 도메인 차이를 해결하고자 Shifted windows로 표현이 계산되는 계층적인 트랜스포머를 제안한다. Shifted windows 방식은 self-attention 계산을 중첩되지 않도록 제한함으로써 효율성을 높이는 동시에 cross-windows connetion을 허용함으로써 효율성을 높인다. 이러한 방식은 다양한 스케일로 모델링할 수 있는 유연성을 가지며 이미지 크기와 관련하여 선형 계산 복잡성을 가지고 있다. Introduction (a)는 논문에서 제안한 Swin Transformer의 구조이다. 각 로컬 윈도우(빨간색 표시) 내에서만 자체 주의 계산으로 인해 이미지 크기를 입력하기 위한 선형..

Paper Review

Sparse Token Transformer With Attention Back Tracking

2023.04.03

[논문리뷰] ICLR 2023 ABSTRACT 본 논문에서 저자들은 Transformer의 attention operations에 대한 복잡도뿐만 아니라 linear layers를 줄일 수 있는 Token Pruning에 포커스를 맞췄다. 이전에 work들은 추후 layer의 attention의 영향에 대해 고려 없이 feed-forward 단계에서 token을 제거하였다. 이러한 이슈를 해결하고자 최종 예측에 큰 영향을 미치는 토큰을 보존하기 위해 output에서 input까지 각 attention의 중요성을 back-tracking 하는 방법을 제안한다. NLP와 CV에서의 효율성을 실험적으로 입증하였다. Introduction Transformer의 Pruning 접근 방법은 주로 불필요한 모델 가..

Paper Review

TOKEN MERGING: YOUR VIT BUT FASTER

2023.03.28

[논문리뷰] ICLR 2023 notable top 5% ABSTRACT 훈련할 필요 없이 기존 ViT 모델의 처리량을 늘릴수 있는 간단한 방법 일반적이고 가벼운 알고리즘을 사용하여 유사한 토큰들을 점진적으로 합친다. ToMe(Token Merging)은 training동안 쉽게 적용이 가능하다. Introduction Transformer의 토큰을 Run-time에 Pruning하여 더 빠른 모델을 가능하게 하는 분야가 등장 Token Pruning의 대부분은 Training 속도를 높이기 위해 적용할 수 없다. 따라서 Token을 Pruning하는 것 보다 더 나은 방식인 combine을 적용하여 Token Merging 방법을 제안한다. 본 논문에서의 custome matching algorithm..

Swin Transformer : Hierarchical Vision Transformer using Shifted Windows

Sparse Token Transformer With Attention Back Tracking

TOKEN MERGING: YOUR VIT BUT FASTER

티스토리툴바