트랜스포머

TOKEN MERGING: YOUR VIT BUT FASTER

[논문리뷰] ICLR 2023 notable top 5% ABSTRACT 훈련할 필요 없이 기존 ViT 모델의 처리량을 늘릴수 있는 간단한 방법 일반적이고 가벼운 알고리즘을 사용하여 유사한 토큰들을 점진적으로 합친다. ToMe(Token Merging)은 training동안 쉽게 적용이 가능하다. Introduction Transformer의 토큰을 Run-time에 Pruning하여 더 빠른 모델을 가능하게 하는 분야가 등장 Token Pruning의 대부분은 Training 속도를 높이기 위해 적용할 수 없다. 따라서 Token을 Pruning하는 것 보다 더 나은 방식인 combine을 적용하여 Token Merging 방법을 제안한다. 본 논문에서의 custome matching algorithm..