Harness-S:通过兄弟 Harness 学习实现可泛化智能体训练
论文提出 Harness-S 方法,针对智能体训练中基座执行系统(harness)的局部性、互补性和非平稳性问题,引入方向性 Harness 演化构建可复用的兄弟 Harness 池。
推荐理由:提出 Harness-S 框架,利用辅助 harness 修复基座执行失败并将能力迁移至策略,在 AppWorld 等基准显著优于纯策略训练。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
论文提出 Harness-S 方法,针对智能体训练中基座执行系统(harness)的局部性、互补性和非平稳性问题,引入方向性 Harness 演化构建可复用的兄弟 Harness 池。
推荐理由:提出 Harness-S 框架,利用辅助 harness 修复基座执行失败并将能力迁移至策略,在 AppWorld 等基准显著优于纯策略训练。
该论文提出 SV-WAM,旨在解决现有世界模型因生成未来视频导致推理开销大、常被迫仅用单前向摄像头的局限。方法利用未来视频预测作为训练监督而非推理输出,通过动作中心因果掩码防止动作 token 关注未来视频 token,使部署时可丢弃视频分支实现高效规划;同时引入可微驾驶区域合规正则器以增强安全与边界感知。
推荐理由:SV-WAM 利用未来视频预测作为训练监督而非推理输出,结合因果掩码与可微合规正则器,在保持六路摄像头输入的同时实现低延迟规划。
论文介绍 Adaptive-WAM,这是一种构建于 Wan2.2-5B 骨干网络上的质量感知多出口规划器。该方法将轨迹扩散头附加到选定的 DiT 块上,利用轻量级评分器在满足质量阈值时终止推理,从而避免完整的迭代去噪和 VAE 解码过程。
推荐理由:该工作提出基于中间层特征的质量感知早退规划器,在 NAVSIM 上取得最佳结果并实现低延迟推理。
该论文提出 DrawSplat 框架,旨在解决现有高斯 SLAM 在室内弱纹理、大面积平面及噪声深度场景下易出现位姿漂移和几何伪影的问题。方法采用类似绘画的流程:先通过点线联合跟踪构建显式结构布局,再利用亚特兰大世界(Atlanta World)的先验推断重力方向并生成可微正则项填充隐式神经高斯以获取高保真外观与连续几何细节。
推荐理由:该工作提出基于 Atlanta World 先验的隐式高斯 SLAM,通过点线联合跟踪与结构采样解决室内弱纹理场景下的位姿漂移与几何重建问题。
该论文提出 Hourglass 架构以解决跨具身运动规划难题,通过解耦通用的无本体世界模型与各机器人的可微本体动力学接口,实现数据池化与参数识别。在七种仿真机器人上,该方法成功率提升 3.8-10.6 个百分点且无需专用训练即可匹配专家策略;经三分钟遥操作标定后,零样本迁移至未见的真实滑移转向机器人并在室内场景导航成功。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。
推荐理由:提出 Hourglass 架构,通过解耦通用世界模型与可微本体动力学实现跨机器人运动规划,在仿真中优于基线并支持零样本迁移至真实机器人。
GenDSR 是一个框架,它将视频生成模型(VGM)的中间表征转移给视觉语言模型(VLM),用于解决 VLM 在保持场景状态的同时追踪空间关系演变的挑战。该框架构建了两个互补分支:一个保留整体生成上下文的原始分支和一个强调时间变化的增量分支,并通过任务条件化的逐 token 门控融合信号并注入原生视觉表征。
推荐理由:该工作提出将视频生成模型的中间表征迁移至视觉语言模型,在动态空间推理基准上取得新最优结果。
针对以视觉为中心的自动驾驶模型冗余编码天空、建筑等无关内容的痛点,提出 Geometry-Aware Token Selection (GATS) 方法。该方法利用 LiDAR 和雷达点投影在视觉骨干网络运行前筛选关键图像区域,使端到端计算量最高降低 18 倍。
推荐理由:提出基于 LiDAR 几何的 Token 选择方法,在大幅降低计算量的同时提升规划相关场景的预测精度与安全性。
清华大学姚期智和袁洋团队提出「代数世界模型」(AWM),利用范畴论中的投射极限与归纳极限工具,将大模型的试错探索转化为形式化数学证明。在ARC-AGI-3游戏集测试中,基于Opus 5.5的AWM以99.9%得分和43%人类基准动作数全部通关,并能准确判断无解关卡。论文由本科生潘冠成、谭淇心撰写,项目主页与arXiv预印本已公开。
推荐理由:清华团队提出代数世界模型,利用范畴论工具将试错探索转化为形式化证明,在ARC-AGI-3测试集实现99.9%通关率。
论文提出 Decoupled Predictive Decision Making (DPDM) 架构,将异构智能体决策形式化为基于共享预训练学习器的条件预测任务。
推荐理由:提出 DPDM 架构,利用冻结预测器结合语言与结构化数据预训练,在不更新参数下提升多任务决策准确率。
大晓机器人联合南洋理工大学S-Lab发布面向具体环境的世界模型Mundo,具备场景重建、自由视角探索和时空模拟能力。该模型仅需1至12张真实图像即可构建可编辑的三维代理场景,并通过代码定义物体质量与摩擦等物理属性,利用MuJoCo引擎计算运动与碰撞,最终由视频扩散模型渲染出符合物理规律的动态画面。
推荐理由:大晓机器人联合南洋理工大学发布Mundo,支持少量图像构建含物理属性的可交互三维环境,为机器人Real-to-Sim训练提供新工具。
论文提出 CaC(Concentrate and Concentrate),这是一种基于视觉语言模型的粗到细粒度异常奖励模型。该模型首先进行全局时间扫描以锚定异常窗口,随后在局部区间内进行精细的空间定位,最后通过结构化的时空思维链推理得出稳健判断。
推荐理由:提出基于 VLM 的层级时空异常奖励模型 CaC,通过构建首个带细粒度标注的合成视频异常数据集及强化学习训练范式,在基准测试中提升精度并降低生成视频中的异常比例。
Randall Balestriero 和 Yann LeCun 提出柏拉图表示定理,证明联合嵌入预测架构(JEPAs)在良视条件下学习到的表示收敛于同一空间。
推荐理由:该工作将多模态对齐猜想转化为定理,证明 JEPAs 在良视条件下收敛于同一表示,并揭示语言模型仅靠规模对齐的机制。
Fight World Model 是一种可编程的游戏世界模型,通过将规则驱动的战斗执行与视频渲染分离,利用确定性编译器生成空间时间对齐的交互代理,实现了伤害缩放、免伤机制及角色场景定制等功能。该模型在 FightWorld Corpus 上训练,无需重训渲染器即可支持多种技能机制,并在动作保真度、打击反应一致性和外观保持方面优于现有游戏世界模型。项目代码与资源可通过提供的链接获取。
推荐理由:该报告提出 Fight World Model,通过分离规则执行与渲染及引入交互代理,解决了现有视频世界模型在战斗状态一致性与可定制性上的不足。
arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。
推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。
该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。
推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。
arXiv 论文介绍 Wizard,一种支持实时、精准控制角色动作并能在未见场景与角色上零样本泛化的智能体游戏世界模型。作者构建了包含 750 个场景和 178 个人物的数据集,利用骨架与几何信息作为结构化代理条件视频生成模型,并结合自适应掩码机制优化对齐。该框架显式维护游戏状态,允许玩家自由配置虚拟世界并精细控制角色动作,同时保持视觉质量与玩法一致性。
推荐理由:该工作提出 Wizard 框架,通过结构化代理与智能体控制实现角色动作的实时精确操控及跨场景零样本泛化。
SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。
推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。
论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。
推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。
针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。
推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。
针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。
推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。