Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models

TL;DR

• 文字を描画した画像で低コストにVLMを学習：TPIは白い画像にテキスト説明を直接描画。
• 文字の描画で画像と言語のギャップを縮小：実画像を収集せずに視覚入力の学習データを生成。
• 拡散モデルによる学習画像を上回る性能：意味の正確さを保ち、複数のベンチマークで改善。

Futa Waseda

特任助教