Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness

TL;DR

• Differential Attentionは敵対的感度を高める：Vision TransformerとCLIPで攻撃への脆弱性を分析。
• 反対方向の勾配が摂動の増幅を説明：減算型の注意構造による負の勾配整合を明らかに。
• 選択的な注意と頑健性にはトレードオフがある：通常入力での識別への集中が、攻撃耐性の向上につながるとは限らない。

Futa Waseda

特任助教