大语言模型(LLM)的快速发展,已经把综述写作从耗时数月的人工作变成了自动化流程。随着生成规模扩大,可靠的评估成为瓶颈,LLM 也越来越多地被用作综述评估器。然而,现有方法大多直接使用现成的 LLM-as-a-judge,没有系统地与人类审稿人对齐,也缺少系统的框架来量化这种对齐程度。
在这项工作中,研究团队提出了 SurveyReview,一个与审稿人对齐的多维度基准和数据集,用于综述评估。
团队收集并标注了 675 篇综述论文,共 1630 份审稿报告,并把真实同行评审报告中的自由文本评论转换为 Readability、Criticalness、Comprehensiveness、Structure 四个维度的评分,并为每个评分配上支撑性的理由。
团队还发布了标准化的训练集与测试集划分,以及一套评估协议,用于衡量自动评估器与人类审稿人之间的对齐程度。
为验证这个基准,团队开发了基线评估器 SurveyAlign,用 LoRA 在标注数据上微调 Qwen3-32B,并为知识密集型维度补充外部知识。
在测试集上,SurveyAlign 相比基于 prompt 的 GPT-5.2 评审,大幅提升了与审稿人的对齐程度,四个维度的平均 MSE 从 2.28 降到 1.38,平均 MAE 从 1.15 降到 0.69。
这项工作的贡献有两点:第一,建立了首个多维度、与审稿人对齐的 survey 评审数据集,并配有可复现的评估框架;第二,开发了一个能显著提升与人类审稿人对齐程度的强基线评估器,为后续研究提供有竞争力的参照。