Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models

Futa Waseda, Shojiro Yamabe, Daiki Shiono, Kento Sasaki, Tsubasa Takahashi

September 2026

Paper Project Video Slides Poster DOI GitHub Hugging Face

TL;DR

RIO-Benchで文字を読む・無視する判断を評価：有用な文字の認識と、誤解を誘う画像内文字への耐性を統合。
高性能VLMでも二つの能力の両立は難しい：Typographic攻撃への頑健性と文字読解能力を同時に評価。
適応的な防御で文字の選択的利用を学習：データ駆動の手法で、回答に画像内文字を使うべき場面を判断。

タイプ

Conference paper

収録

ECCV 2026

発表動画

発表スライド

Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models slide 1

Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models slide 2

1 / 6

発表ポスター

ポスターを開く

Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models poster