统一多模态模型(UMM)在接受图像生成监督时,会接触到文本中没有被完整记录的视觉信息。那么,通过学习生成图像,能否拓展预训练模型所掌握的知识?
针对这一问题,研究团队提出了 Knowledge Transfer Probing(KTP),这是一套受控的评测协议:通过图像生成训练向模型提供新知识,再通过纯文本问答检验这些知识能否被访问。
在七个知识类别和三个 UMM 上,团队观察到视觉监督向语言的迁移是直接的,但并不均衡。基于这些观察,团队依次引入文本对齐和交错图像-文本对齐,分别通过共享知识和图文交错的回答,把生成与问答连接起来。对部分实体进行引导,可以在没有 QA 监督的情况下,提升模型对其他实体的知识访问,而图文交错对齐能带来进一步的提升。
进一步分析表明,在图像中被正确还原的知识,通过文本往往更容易被访问,但两种访问形式之间仍存在明显 gap。这些发现支持将视觉生成视为文本监督之外的知识来源,并提示需要联合研究训练数据设计与模型架构,使这类知识能被更广泛地访问。