token

Paper Review

Sparse Token Transformer With Attention Back Tracking

2023.04.03

[논문리뷰] ICLR 2023 ABSTRACT 본 논문에서 저자들은 Transformer의 attention operations에 대한 복잡도뿐만 아니라 linear layers를 줄일 수 있는 Token Pruning에 포커스를 맞췄다. 이전에 work들은 추후 layer의 attention의 영향에 대해 고려 없이 feed-forward 단계에서 token을 제거하였다. 이러한 이슈를 해결하고자 최종 예측에 큰 영향을 미치는 토큰을 보존하기 위해 output에서 input까지 각 attention의 중요성을 back-tracking 하는 방법을 제안한다. NLP와 CV에서의 효율성을 실험적으로 입증하였다. Introduction Transformer의 Pruning 접근 방법은 주로 불필요한 모델 가..

Paper Review

TOKEN MERGING: YOUR VIT BUT FASTER

2023.03.28

[논문리뷰] ICLR 2023 notable top 5% ABSTRACT 훈련할 필요 없이 기존 ViT 모델의 처리량을 늘릴수 있는 간단한 방법 일반적이고 가벼운 알고리즘을 사용하여 유사한 토큰들을 점진적으로 합친다. ToMe(Token Merging)은 training동안 쉽게 적용이 가능하다. Introduction Transformer의 토큰을 Run-time에 Pruning하여 더 빠른 모델을 가능하게 하는 분야가 등장 Token Pruning의 대부분은 Training 속도를 높이기 위해 적용할 수 없다. 따라서 Token을 Pruning하는 것 보다 더 나은 방식인 combine을 적용하여 Token Merging 방법을 제안한다. 본 논문에서의 custome matching algorithm..

Sparse Token Transformer With Attention Back Tracking

TOKEN MERGING: YOUR VIT BUT FASTER

티스토리툴바