近期研究表明,表征正则化对提升扩散模型的样本质量和训练效率十分重要。然而,常用的正则化方法往往忽略了直接决定生成目标的内置条件(如标签或文本)。

在这项工作中,研究团队展示了条件信号如何影响特征分布,并提出了“条件感知表征正则化”(Condition-Aware REpresentation regularization,CARE)。CARE 是一个轻量级的即插即用正则化框架,根据条件相似度动态调制特征分布。CARE 利用内置条件信号引导表征空间,从而在无需依赖显式对齐损失或外部监督的情况下,促进相似条件下的特征聚类更加紧密。

实验表明,CARE 在类别到图像(class-to-image)和文本到图像(text-to-image)任务上,均能持续提升视觉保真度和收敛稳定性。在 ImageNet 上,CARE 在 400k 训练步内将 FID 降低 19.08%,实现 3.5 倍加速;应用于文本到图像生成时,CARE 在 200k 次迭代内将 FID 降低 16.61%,并改善生成样本与文本提示之间的语义对齐。此外,CARE 可以与现有正则化方法无缝结合,带来进一步的性能提升。

← 返回列表