JEPA 风格潜在世界模型的规划器 - 硬件协同设计与差分稀疏性制造
JEPA 风格的潜在世界模型虽能支持具身智能体进行基于模型预测控制的新目标规划,但采样式 MPC 重复推断导致单次规划耗时数十秒。本文提出利用规划器自身决策特性,通过参考森林采样在候选动作序列间制造位级差分稀疏性,并设计专用加速器实现算法与硬件的紧密协同。
推荐理由:该文提出规划器与硬件协同设计,通过制造差分位级稀疏性提升 JEPA 世界模型的推理速度并降低能耗。
JEPA 风格的潜在世界模型虽能支持具身智能体进行基于模型预测控制的新目标规划,但采样式 MPC 重复推断导致单次规划耗时数十秒。本文提出利用规划器自身决策特性,通过参考森林采样在候选动作序列间制造位级差分稀疏性,并设计专用加速器实现算法与硬件的紧密协同。
推荐理由:该文提出规划器与硬件协同设计,通过制造差分位级稀疏性提升 JEPA 世界模型的推理速度并降低能耗。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
论文提出 Decoupled Predictive Decision Making (DPDM) 架构,将异构智能体决策形式化为基于共享预训练学习器的条件预测任务。
推荐理由:提出 DPDM 架构,利用冻结预测器结合语言与结构化数据预训练,在不更新参数下提升多任务决策准确率。
针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。
推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。
论文提出S3(Spectral Null-Space Swap)方法,这是一种无需训练的成对检查点组合策略。研究指出推理能力的核心存在于非思考模型主导奇异方向投影的零空间中,移除该分量可大幅提升效率而不损害准确率。实验在2B至30B参数量的稠密及MoE架构上验证,相比完整思考模型,S3平均降低27.4%推理token开销,同时整体任务准确率提升1个百分点(如在HMMT25上准确率达+8.3%)。
推荐理由:提出S3方法,通过交换非思考与思考模型的零空间权重,在推理效率提升27.4%的同时保持准确率。
论文提出了 Anchor-WM 方法,利用预训练的 DINO 特征作为教师来学习紧凑的潜在状态,而非直接将其作为世界模型的状态空间。该方法通过动作条件化的动力学学习和仅用于蒸馏的训练头,在保留视觉信息的同时避免表示坍塌。
推荐理由:提出用预训练特征指导学习紧凑潜在状态,在四个环境中实现最佳成功率并显著加速规划。
针对终身智能体在生成、交互和内存预算紧张时的失效问题,论文提出 TokenWorth 轻量级在线框架,通过稀疏执行反馈学习查询依赖的记忆价值,并应用于检索与有界管理。实验显示该方法在三类环境及本地/API部署中均取得最高任务成功率且输出 token 最少。代码已开源。
推荐理由:提出 TokenWorth 框架,在资源受限下学习记忆价值以优化终身适应。
论文提出 VITAL(Vision-Induced Tokens for Action Learning),旨在将视觉预期转化为驾驶决策。该方法通过耦合视觉导出的运动骨架与紧凑残差编码,使视觉运动成为主要预测目标,同时为轨迹误差提供独立的归一化学习尺度。
推荐理由:该工作提出 VITAL 方法,将视觉运动作为动作预测主目标并引入残差编码,在 NAVSIM v1/v2 测试集上实现接近多步推理的精度与速度。
论文介绍 CarryOn,一种将长周期任务上下文组织为可复用对象的运行时机制,避免依赖压缩的历史记录。该方法通过维护载体记录、结合环境检查更新基础信息并保留未受影响记录,在 OSWorld 2.0 和 BrowseComp-Plus 基准上分别提升性能 5.8% 和 7.0%,同时降低 Token 使用量 51.9% 和 22.9%。材料为预印本论文,提供 GitHub 项目页面链接。
推荐理由:提出 CarryOn 对象化上下文运行时,在 OSWorld 和 BrowseComp-Plus 上提升性能并显著降低 Token 消耗。
Harness 自进化的效果取决于模型能否遵循其引导,但研究发现强模型的有益技能对弱模型可能有害甚至降低性能。为此,作者提出技能适配方法,利用外部重写器诊断工具执行、上下文管理等失败原因并蒸馏为固定元技能,在不依赖执行证据的情况下将通用技能改写以匹配执行者能力。实验显示该方法在七种不同能力的执行器上均提升了自进化循环的最终得分,为开发更有效的 Harness 自进化提供了设计指导。
推荐理由:原文发现通用技能对弱模型有害,提出通过元技能诊断失败并适配技能以匹配执行者能力的方法。
论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。
推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。
该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。
推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。
针对强化学习中组间相对目标奖励信号消失的问题,本文提出了前瞻性学习方法 Self-Retrospection Distillation(SRD)。该方法利用已完成轨迹中的后验知识监督交互前的前瞻预测,将其作为训练目标而非推理时的显式生成。
推荐理由:该工作提出利用事后经验蒸馏前瞻预测,在奖励信号稀缺的长程任务中显著提升强化学习性能。
文远知行正式发布物理 AI 认知基础模型 WeRide WITT(World Intelligence Toward Truth),该模型基于原子物理事实(APFs)框架,通过提取、推理、验证和整理可信事实来构建对物理世界的理解。
推荐理由:文远知行发布基于原子物理事实的认知基础模型 WITT,通过提取、推理与验证可信事实来降低幻觉并提升长尾场景挖掘效率。
Berkeley BAIR 团队发布了 Transitive RL (TRL) 算法,旨在解决传统时序差分(TD)学习难以扩展至长周期任务的瓶颈。该算法采用“分治”范式,将轨迹递归分割以更新价值函数,从而将对数级减少贝尔曼递归次数并避免误差累积。
推荐理由:作者提出 Transitive RL 算法,利用分治策略解决离线强化学习在长序列任务中的误差累积难题。