同策略蒸馏（On-policy distillation，OPD）在语言模型中展现出两项重要能力：把大型教师模型压缩进更小的学生模型，以及把多个专家模型合并为单一模型。然而，现有的扩散 OPD 工作大多只关注后一项，教师模型与学生模型共用同一个骨架，规模也相同。
在这项工作中，研究团队调查了从大型教师模型到小型学生模型的由大到小扩散 OPD，发现标准方案会失效。
为找到根本原因，团队提出了 Fixed-State KL，用来在扩散模型的 OPD 训练过程中，公平且有效地衡量学生模型与教师模型之间的分布差距。
团队首次阐明了由大到小 OPD 对扩散模型而言为何困难：较小的学生模型很难完全匹配较大教师模型的分布，而无分类器引导（CFG）会累积并放大学生模型的 conditional 与 unconditional 分支同教师模型对应分支之间的分布差异。
针对这一问题，团队提出了 GFD-OPD，在缩小学生模型与教师模型差距的同时，避免 CFG 组合带来的误差放大。
在大量实验中，GFD 在训练效率和最终性能两方面都优于此前的 baseline，并在所有基准上取得了 SOTA 结果。