Interlock:从局部正确到任务完成的长程智能体框架
论文提出 Interlock 框架,旨在解决大语言模型智能体在处理碎片化证据和依赖关系时产生的局部正确但结果不完整的问题。该框架将每个任务表示为类型化的完成图,包含连接公共证据与决策的接地边、跨组件施加联合约束的超边以及连接决策与下游效果的实现边。
论文提出 Interlock 框架,旨在解决大语言模型智能体在处理碎片化证据和依赖关系时产生的局部正确但结果不完整的问题。该框架将每个任务表示为类型化的完成图,包含连接公共证据与决策的接地边、跨组件施加联合约束的超边以及连接决策与下游效果的实现边。
论文介绍 MAI-Gym 这一开放的一体化平台,统一了移动端、电脑端和 Web 端的 GUI Agent 评测、数据收集及在线强化学习训练流程。该平台通过共享部署管道确保行为一致性,支持十个基准测试并扩展至两万并行环境实例。
推荐理由:MAI-Gym 平台统一了移动与计算机环境的 GUI Agent 评测与在线强化学习训练,支持合成任务并实现了从模拟到物理设备的技能迁移。
论文介绍 CarryOn,一种将长周期任务上下文组织为可复用对象的运行时机制,避免依赖压缩的历史记录。该方法通过维护载体记录、结合环境检查更新基础信息并保留未受影响记录,在 OSWorld 2.0 和 BrowseComp-Plus 基准上分别提升性能 5.8% 和 7.0%,同时降低 Token 使用量 51.9% 和 22.9%。材料为预印本论文,提供 GitHub 项目页面链接。
推荐理由:提出 CarryOn 对象化上下文运行时,在 OSWorld 和 BrowseComp-Plus 上提升性能并显著降低 Token 消耗。
Google DeepMind 正式上线通用物理推理模型 Gemini 4 Argon,该模型具备视觉语义推理、物理理解和代码生成能力。Argon 支持通过观看视频或手绘草图构建仿真环境(Real2Sim),在 MuJoCo 等环境中进行零样本控制与技能学习,并能分析操作过程以优化机器人表现。
推荐理由:DeepMind 上线通用物理推理模型 Gemini 4 Argon,支持从视频或草图构建仿真环境、零样本控制及自我改进优化机器人动作表现。
近日,Knowin AI、香港科技大学(广州)等 8 家机构的 39 位研究者联合发布《In-Context Learning for Robots: Methods and Applications》综述,系统讨论了让机器人利用少量示范与现场指导快速迁移到新任务的技术。
针对长程智能体难以从早期错误中恢复的问题,本文提出了 BELIEFWEAVER 框架。该方法通过维护前沿、尝试、观测和检查点的关系信念状态,利用执行证据更新优先级并控制执行,同时使用隐式世界模型评估修复假设以指导探索。研究进一步通过监督微调与在线策略蒸馏,将推理组件压缩至 9B 学生模型,在三个终端基准测试中相比原生基线显著提升了最终得分,并将教师模型 API 调用成本降低了 54.8%。
推荐理由:该工作提出结合信念更新与世界模型的长程恢复框架,并通过蒸馏将推理成本降低一半以上。
论文介绍 Cowork-Gym 框架,利用构建、执行和修订循环合成包含状态感知用户模拟器的交互式工作环境,涵盖工具依赖与共享工作区编辑。研究合成了 64.9K 个环境并用于微调 Qwen 系列模型(9B/27B/35B),在六个代理基准上平均表现优于基线,其中 27B 版本在 PawBench 和 ClawEval 上得分最高,超越百十亿参数模型。
针对流匹配训练中源样本配对随机性导致的不稳定问题,该方法通过在线熵正则最优传输近似实现了更大的源 - 目标耦合规模,同时保持计算可行性。理论证明证实相比独立配对,全随机梯度方差与积分误差均严格降低,且随耦合 minibatch 增大而增强。单细胞基因插值流和图像流训练实验验证了该方案能一致提升训练稳定性及最终生成效果。
论文提出 EC2-Bench 基准,用于评估长周期场景中 LLM Agent 的边缘 - 云端协作表现。研究对比了纯边缘、纯云端及混合协作模式,发现混合模式在任务性能、资源利用和隐私暴露间取得平衡;随着边缘模型能力提升,协作执行趋近云端性能且策略差异缩小,但隐私风险仍高度依赖具体协作策略。分析指出云调用决策与指令遵循是有效协作的关键边缘能力。代码与资源已开源。
该论文提出了 Harness 框架,旨在让智能体在保持模型权重固定的前提下,对提示词、记忆、工作流及可执行组件进行反馈驱动的自演化修订。研究形式化了接受修订的持久化过程,区分了状态解释变更与工具代码修订,并通过进化优化和持续 PAC 学习分析其可靠性与泛化边界。材料提供了包含理论、算法、评估及应用影响的综合讨论,并附带持续更新的代码与补充材料链接。
针对长程半可验证智能体任务依赖评分标准却易受错误报告影响的问题,研究提出 Sauron 验证器。该方法独立调查环境状态与执行轨迹,仅在验证来源后接受声明,并通过有界查询减少冗余工作。
推荐理由:Sauron 方法在长程任务中通过独立验证证据提升评估准确率,相比基线成本更低且抗攻击性强。
论文针对连续空间生成流模型对齐受限于不可计算轨迹似然的问题,提出 Flow Advantage-Weighted Rectification (FlowAWR) 范式。
该论文探究现代视频扩散模型是否内嵌物理结构而非仅复现训练中的运动模式。研究通过逆向积分学习到的速度场恢复潜在轨迹,发现物理合理性信号存在于去噪 Transformer 内部状态中,平均解码准确率约 81.27%,优于 V-JEPA 和 VideoMAE 等基线,且该信号在 VAE 潜输入中不存在。这表明具有物理意义的表征可作为生成式去噪的副产品自然涌现。
该论文通过视频 - 文本到语音(VTTS)合成任务,研究了统一解码器中不同采样率模态间的序列设计与同步问题。研究发现,全局顺序索引与同时间序索引在域内表现相当,但在跨域迁移时,结合文本优先的同时间序索引无需显式时间戳即可实现最鲁棒的泛化。
FACT 是一个代理框架,旨在构建高保真的串联数字孪生以改善几何、接触和动力学表现。该方法通过特征规划从图像重建可编辑几何,利用任务感知的局部重划分修复碰撞代理,并利用仿真残差指导被动响应视频中的模型修订与物理参数拟合。实验表明 FACT 在几何重建、交互可靠性及复现未见过物理响应方面优于基线方法。
论文提出 ModAR,这是首个对多种未来模态(点轨迹、DINO 特征、深度图)进行自回归去噪后再预测动作的世界动作模型。实验表明,结合点轨迹和深度图能提升性能,而额外预测 RGB 图像收益不显著;ModAR 在三种真实双手任务上优于基线,平均成功率达 75%,且训练 FLOPs 约为视频初始化基线的二十分之一,无需预训练。
世界动作模型(WAMs)利用视频生成预测机器人操作的未来视觉动态,但迭代去噪引入了闭环控制的额外延迟。研究发现静态背景结构收敛快而夹持器与物体的交互动力学需多步才能显现,直接截断会丢失关键信息。
推荐理由:针对多步视频生成在闭环控制中的延迟问题,提出 DIDO 方法将交互动力学蒸馏至单步去噪,结合视觉推理 token 与 DINOv3 对齐,显著降低推理耗时并提升操作成功率。
DeVI 提出一种通过模仿文本条件生成的合成视频来学习物理基础的人机交互控制,利用混合模仿目标规避不可靠的三维物体运动重建。视觉 HOI 对齐模块进一步修正人体参考以适配生成视频与初始三维配置,显著提升重构质量与模仿成功率。实验表明该框架无需动作捕捉演示即可实现目标感知与多连杆物体的物理可行功能操作。
WorldGenBench 是一个用于评估文生图系统整合事实 grounding 与情境推断能力的基准。该研究提出知识清单评分法,测试了 24 个模型,发现专有模型如 GPT-4o 表现较强,而大多数开源系统在文化多样性和科学场景中存在差距。分析还指出了语义幻觉和非西方知识代表性不足等常见失败模式。
该研究提出基于笔记本电脑的本地大语言模型智能体框架,通过“思考 - 行动”循环自动生成边缘案例场景。系统利用独立模型批判与仿真评估指标进行闭环优化,最终产出可追溯的安全保证证据。此方法无需人工介入或依赖规则策略,有效解决了长尾分布下的场景多样性问题。
论文 FlyHack 针对果蝇运动视觉模型 flyvis 及其 50 个模型集合进行了压力测试,评估了行为与机制结论对比较模型、干预方式及电路表示的依赖性。研究发现,该模型在特定任务下的响应模式无法被普通 CNN 完全复现,且对抗性方向反转所需的扰动阈值存在差异;同时,归因匹配度随评分方法变化显著,细胞类型搜索的成功率受调优标准影响较大。
针对通用机器人策略在顺序任务学习中易发生灾难性遗忘的问题,本文提出 Dream to Remember (D2R) 方法。该方法利用冻结的预训练世界模型通过想象式 rollout 复现旧任务,从而在不使用回放缓冲区或新数据的情况下锚定早期行为。
针对驾驶世界动作模型(WAMs)在强化学习后训练阶段缺乏替代轨迹视觉监督的问题,本文提出 SimVTA 框架。该方法结合轨迹优化与视频监督,利用真实世界模拟器渲染高奖励候选轨迹的未来视频,并在有限渲染预算下优先处理高误差未来以更新共享表征。
推荐理由:提出 SimVTA 框架,利用仿真生成视频监督以解决驾驶世界动作模型的轨迹规划问题。
论文提出 SmolWAM,这是一种从 Cosmos Policy 衍生出的潜在世界 - 动作模型(latent WAM),旨在解决视频扩散 Transformer 在资源受限边缘设备上计算成本过高的问题。
推荐理由:该工作提出 SmolWAM,通过保留预训练主干并重构推理接口,在边缘设备上实现了高效的世界 - 动作联合预测。
arXiv 论文 GLIMPSE 提出一种带多精度坐标和几何条件谱衰减的全局 - 局部记忆接口,以解决相机回看场景时因深度或姿态误差导致的鬼影问题。该方法通过位置传输避免重采样,利用局部块记忆提供视图特定外观,用循环全局记忆提供场景上下文,并在匹配检索与读取预算下提升了几何对应和光度一致性。材料为预印本,未报告真实机器人部署结果。
推荐理由:提出带多精度坐标与几何条件谱衰减的全局 - 局部记忆接口,旨在降低相机回看场景时的鬼影误差。
该研究提出基于“植物 - 机器物理作用原理”和“过程自动化水平”两大轴的统一分类框架,将选择性视为感知决策影响物理执行的涌现属性。分析表明增加自动化未必提升选择性,仅在感知直接驱动产品级执行时发生从分散交互到局部选择操作的定性转变。此框架为定位机械化、自动化及机器人收获技术提供了共同概念基础并支持未来系统开发。
PhysForge 是一个基于视频扩散模型(VDM)的框架,通过 PhysFit 和 PhysComp 两个模块实现材料可控的物理拟合与组件级交互建模。在 PhysAssets 和 Google Scanned Objects 数据集上,该方法在常见及罕见材料的 CLIP 分数与物理可控性评分均优于现有方法,并支持组件独立优化与灵活组合。项目页面已公开,代码与数据许可状态待进一步确认。
本文介绍 ELMA,一个具有密集分段注释的长期动作生成数据集,旨在解决现有模型难以处理涉及指代关系的跨段约束问题。研究团队通过全自动管道从网络视频中提取高质量连续 30 秒片段,并微调了最先进的动作生成模型以融入长程上下文。
推荐理由:ELMA 数据集与基准揭示了现有模型在处理长程指代性指令时的不足,为长期动作生成提供了新的评估标准。
论文提出 S-Space 是 MLLM 中用于编码物体水平、垂直及距离坐标的内在线性子空间,可作为内部空间工作区支持空间判断。研究通过因果干预证实该子空间独立于非空间问题存在,并发现其能关联物理方向与抽象语义。然而,感知 - 计算分解揭示了关键瓶颈:模型虽能形成空间表征,但在应对视角变化所需的几何变换上仍显不足,导致空间推理不可靠。
arXiv 论文介绍 HF-WM,这是一个基于动作的条件世界模型,旨在预测行动后果并弥补现有数据集缺乏失败动态的不足。该研究提出双分支框架,结合视频生成与辅助点流预测以统一人形与机器人运动的表征;同时利用 GRPO 在受扰动动作上进行后训练,引导模型学习合理的失败动力学而不依赖成对的真实失败视频。实验表明 HF-WM 在动作条件视频生成方面达到最先进水平,并对下游机器人任务的策略评估具有实用价值。
ManeuverFlow 是一种用于复杂场景端到端规划的新方法,旨在解决多查询回归模式坍塌及候选集规模受限的问题。该方法通过混合专家 MeanFlow 场一步生成不同意图的轨迹,并利用世界模型预测的当前与未来特征聚合为路径证据,进而预测 PDM 因子并优化局部 Frenet 残差以筛选最佳候选。
推荐理由:该文提出 ManeuverFlow,利用世界模型预测的未来证据对轨迹进行生成与精细化评估,在 NAVSIM 和 WorldEngine 基准上取得领先分数。
该论文针对基于回归的 RL 在流模型中面临的冷启动病理与几何引导爆炸问题,提出 VideoAWR 方法。该方法通过将采样与优化锚点解耦,利用 EMA 参考策略生成引导式 rollout 恢复奖励可分性,同时训练策略对无引导条件锚点进行校正。
推荐理由:提出 VideoAWR 方法解决视频流模型优化中的冷启动问题,实现单分支推理且保留 CFG 语义。
本文介绍了一种名为 AFCE 的方法,将 VLA 策略的预测目标从单纯的动作片段转向未来物理效果(Effect)。该方法利用离线构建的效果令牌和流匹配模型,结合状态条件解码器生成可执行动作。在 DexJoCo 基准测试中,AFCE 整体成功率达 50.97%,分别比 pi_0.5 和 UVT 提升 11.82 和 15.21 个百分点,并在所有五项双臂任务中领先,验证了效果监督在灵巧操作中的价值。
针对高海况下无人机(UAV)在无人水面艇(USV)上自主着陆困难的问题,本文提出了一种预测驱动的层级控制框架。该方法开发了一个预训练模型,用于在高阶着陆决策中显式预测 USV 的姿态变化,从而识别合适的着陆窗口并选择最佳触地时间;同时由传统的低层飞行控制器维持无人机稳定性并跟踪运动指令。
论文介绍 Grounded-Dreamer 框架,旨在解决机器人操作策略学习中大规模多样化动作标注数据稀缺的问题。该方法结合视频生成模型的视觉真实性与仿真器的物理引擎,从少量描绘任务初始状态的真实图像出发,自动重建任务相关物体和相机几何并在仿真中对齐,进而收集符合物理规律的轨迹。
推荐理由:该工作提出利用视频世界模型与物理引擎结合,从少量真实图像生成带物理约束的操作数据以训练策略。
针对现有视觉语言动作模型缺乏显式监督、世界动作模型存在额外推理成本及误差传播问题,本文提出 Forward Dynamics Models(FDM)。该模型通过动作到未来的范式,利用真实未来状态监督策略学习,在推理阶段完全跳过未来生成以降低成本。实验表明,该方法在仿真和真机任务上均有效,在 LIBERO 基准上平均成功率达 99.4%,相比 VLA 和 WAM 方法在现实任务中提升最高 13%。
推荐理由:提出动作到未来范式,通过动作特征条件化预测未来状态,避免误差传播并跳过推理时的生成成本。
该研究针对质量与万向节刚度未知的推车任务,提出 Belief-Overlap Partial Inversion(BOPI)框架,将在线估计、基于流的规划与全身控制闭环。
推荐理由:提出 BOPI 方法解决信念更新时的重规划冲突,在仿真与硬件上显著降低误差并实现非完整约束移动。
世界动作模型(WAMs)继承了预训练视频生成模型的先验,但其变分自编码器(VAE)的视觉表征是为重建优化的而非操作。本文系统对比了多种视觉表征、五种融合机制及特征组合,发现强通用视觉表征能提供更广鲁棒性;通道级联合预测取得最高平均成功率;额外信息源需根据任务相关性选择。
推荐理由:系统对比了视觉表征与融合机制,提出 R^2-WAM 架构,在 RoboCasa GR1 Tabletop 任务上达到 84.7% 成功率。
JoyInside-VLM-Agent 是一个 ReAct 风格的多模态智能体,通过构建产品条件的轨迹和分阶段策略学习来适应约束与目标变化。系统利用闭环沙盒生成包含目标修订与故障恢复的交互轨迹,经监督微调、多教师同策略蒸馏及 DPER 强化学习训练。
论文介绍 Evo-World,这是一个轻量级视觉语言动作(VLA)模型,通过光流监督增强策略学习中的未来运动预测能力,从而提供专注于运动而非外观的预测信号。