在模仿学习中实现鲁棒的跨具身泛化，必须克服一个关键的表征缺陷：任务语义与硬件相关的视觉几何被不可分割地纠缠在一起。
在这项工作中，研究团队提出了一个以交互为中心的框架，利用双指夹爪的共有结构，通过参数化的通用夹爪抽象，得到规范的夹爪坐标系表征。给定语言和 RGB-D 观测，VLM 推断子任务，并确定交互三元组（夹爪、被抓物、目标），同时 SAM 2.1 通过跟踪掩码来减少 VLM 查询次数。团队设计了简洁的混合特征，将用于全局引导的目标与碰撞人工势场，同局部几何所用的分割后夹爪坐标系点云结合起来，并使用流匹配 Transformer 预测平滑的 7-DoF 动作块。
仿真和真实任务实验表明，这是首个既能取得有竞争力的基准测试分数，又能实现跨具身/跨视角零样本模拟到现实的迁移，并将结果迁移到完全不同且异构的机器人平台上的模仿学习方法。