面向大语言模型（LLM）的强化学习正转向多轮 Agentic 工作负载。在这类负载中，rollout 任务会反复暂停，等待外部环境返回，然后带着不断增长的上下文恢复运行，完成时间的差异也很大。在这种场景下，以训练吞吐量衡量的 RL 训练有效吞吐量比 GPU 的原始占用率更重要：GPU 等待和重复的预填充重计算都属于纯粹的开销。
在这项工作中，研究团队提出了 TideRL，一个就绪感知（readiness-aware）的弹性 RL 系统，包含 Continuous Task Batching（CTB）、Resource-Aware Ref-Actor Pipelining（RA2P）和 Elastic Resource Scaling（ERS）三个组件。其中，CTB 负责保留有用的 rollout 状态；RA2P 根据就绪任务的积压量和到达间隔，在解耦的流式处理与并置的聚合处理之间做选择；ERS 使用同样的就绪信号，在 rollout 和训练之间调动 rank。
在纯文本和多模态的 Agentic 工作负载上，TideRL 相比同步基线将 RL 训练有效吞吐量最高提升 5.6 倍，相比异步基线提升超过 33%，同时任务性能相近。此外，TideRL 将 KV cache 命中率提升 1.58 倍，单步训练时间最多缩短 44.3%，总等待时间最多降低 77.6%。