自主研究 Agent 正越来越多地被用来自动完成科学研究中的大量工作,但它们容易出现研究诚信违规(RIV),即损害研究过程的有效性、可复现性或忠实性的行为。
在这项工作中,研究团队提出了 RIDAR,一个用于 RIV 自动检测与运行时干预的框架。首先,团队提出了 RIVT,这是一套涵盖完整研究生命周期的分类体系,共包含 14 种 RIV 类型。在 RIVT 的基础上,团队提出了 RIDAR-post-hoc,用于检测 Agent 轨迹中的 RIV。最后,团队提出了 RIDAR-runtime,用于在 Agent 运行期间动态检测并纠正 RIV。
RIDAR-post-hoc 在 RIV-Gold 上取得 85.2% 的 F1,RIV-Gold 是一个包含 60 条专家标注轨迹的 RIV 检测基准。团队将 RIDAR-post-hoc 应用于 RIV-Wild(一个覆盖 50 个不同研究任务、包含 300 条 Agent 轨迹的数据集),共检测到 3964 个 RIV 实例,出现在 99.7% 的轨迹中,说明 RIV 在当前 Agent 中十分普遍。RIDAR-runtime 将任务完成时 Agent 仍存在的 RIV 减少了 36.8%。