LLM Agent 越来越多地部署在复杂应用中,冗长的 Agent 轨迹使失败难以诊断。现有轨迹诊断方法常常混淆异常、错误和失败,使诊断目标含糊不清;它们也缺乏对因果相关错误如何传播、放大并最终导致任务失败的结构化建模,造成失败归因不可靠。
针对这些问题,研究团队提出了一个工具增强的 Agentic 框架——CEG-Agent,用于 Agent 轨迹的因果诊断。
具体来说,CEG-Agent 引入了异常、错误和失败的显式分类体系,并构建因果错误图(CEG),这是一种统一的类型化表征,通过因果关系把执行事件、诊断节点和失败结果连接起来。
为评估因果轨迹诊断,团队进一步构建了 CEG-Bench,这是一个完全由 Agent 标注的基准,其高置信度、基于共识的 CEG 标注通过对抗式 Agentic 裁决协议(AAAP)获得。团队使用专家整理的人工标准集验证了这些标注,结果显示其与自动标注高度一致。
在 CEG-Bench 上的实验表明,CEG-Agent 在语义宽松和结构精确两种评估标准下都达到 SOTA。