Transformer

Paper Review

Swin Transformer : Hierarchical Vision Transformer using Shifted Windows

2023.10.14

[논문리뷰] ICCV 2021 ABSTRACT 저자들은 기존 텍스트의 단어와 이미지의 픽셀 해상도와의 도메인 차이를 해결하고자 Shifted windows로 표현이 계산되는 계층적인 트랜스포머를 제안한다. Shifted windows 방식은 self-attention 계산을 중첩되지 않도록 제한함으로써 효율성을 높이는 동시에 cross-windows connetion을 허용함으로써 효율성을 높인다. 이러한 방식은 다양한 스케일로 모델링할 수 있는 유연성을 가지며 이미지 크기와 관련하여 선형 계산 복잡성을 가지고 있다. Introduction (a)는 논문에서 제안한 Swin Transformer의 구조이다. 각 로컬 윈도우(빨간색 표시) 내에서만 자체 주의 계산으로 인해 이미지 크기를 입력하기 위한 선형..

Paper Review

TOKEN MERGING: YOUR VIT BUT FASTER

2023.03.28

[논문리뷰] ICLR 2023 notable top 5% ABSTRACT 훈련할 필요 없이 기존 ViT 모델의 처리량을 늘릴수 있는 간단한 방법 일반적이고 가벼운 알고리즘을 사용하여 유사한 토큰들을 점진적으로 합친다. ToMe(Token Merging)은 training동안 쉽게 적용이 가능하다. Introduction Transformer의 토큰을 Run-time에 Pruning하여 더 빠른 모델을 가능하게 하는 분야가 등장 Token Pruning의 대부분은 Training 속도를 높이기 위해 적용할 수 없다. 따라서 Token을 Pruning하는 것 보다 더 나은 방식인 combine을 적용하여 Token Merging 방법을 제안한다. 본 논문에서의 custome matching algorithm..

Swin Transformer : Hierarchical Vision Transformer using Shifted Windows

TOKEN MERGING: YOUR VIT BUT FASTER

티스토리툴바