Twitter Image Captioning

修士1年の授業で、画像からツイート風の文章を生成するモデルを開発しました。客観的な説明に加え、主観・曖昧さ・ユーモアを含む表現を目指しました。

Twitter APIで31アカウントから約5,000組の動物画像と文章を収集し、CNNエンコーダーとLSTMデコーダーを使用しました。STAIR Captionsで10エポック事前学習し、Twitterデータで2エポック追加学習しました。

35名へのアンケートで、自然さ・画像との対応・ユーモア・「いいね」したいかを評価しました。STAIRのみで学習したモデルを上回りましたが、人間のツイートには及びませんでした。