Mix Forcing:基于混合注意力的交互式视频世界模型的因果预训练
针对交互式视频世界模型需自回归生成但直接适配会破坏视觉先验的问题,本文提出 Mix Forcing 范式。该方法利用双向与自回归的混合注意力机制(MoBA),联合进行教师强制与双向训练以构建强因果初始化,并通过分块交叉注意力支持在线文本交互。
针对交互式视频世界模型需自回归生成但直接适配会破坏视觉先验的问题,本文提出 Mix Forcing 范式。该方法利用双向与自回归的混合注意力机制(MoBA),联合进行教师强制与双向训练以构建强因果初始化,并通过分块交叉注意力支持在线文本交互。
针对现有视频世界模型在稀疏大步长轨迹下产生冻结帧和几何漂移的问题,本文提出 DTTD 后训练框架。该方法通过插值构建稠密轨迹,利用基模型自身生成可靠教师视频进行监督,并结合几何感知奖励与离线偏好优化来扩展运动范围。研究无需额外数据或更强外部生成器,采用累积课程策略逐步增加运动步长以减少能力遗忘。
针对物理测试与仿真准备成本高且现有基准仅关注结果成功与否的问题,该研究提出 WorldFailBench 基准,旨在检验世界模型是否能忠实复现策略的失效机制。该基准包含三个任务:失败原因(复现可观测错误)、失败阶段(评估失效集中点)及失败边界(考察场景变化下的成败转换条件)。
推荐理由:该基准通过三个任务揭示现有世界模型在复现策略失败原因、阶段及边界上的显著差距,为构建更可靠的评估工具提供方向。
针对现有图神经网络在服装仿真中隐含处理摩擦力、无法在推理时设定摩擦系数的问题,该研究提出了一种模块化接触算子。该方法在冻结预测器的基础上,通过计算法向载荷并施加闭合形式的库仑修正,沿身体三角形路径传播诱导运动,从而显式解决摩擦问题。实验表明,相比需要重新训练的基线方法,该技术能单调提升贴合度并降低滑移,同时保持低穿透率和与参考求解器一致的拉伸特性,且推理速度仅为参考求解器的八分之一。
论文介绍 ReSight 系统,该系统为具身智能体提供任务驱动的自改进记忆机制,通过保留关键帧及其时空关联,将观测证据与可扩展的衍生字段分离以支持按需重处理。系统包含执行代理和编码代理,前者在有限在线预算内调用注册工具,后者利用可编程工作空间探索、编写程序并获取模型。
论文介绍 GEMS 框架,通过一次性重建并仅更新变化区域的持久化 3D 高斯溅射图,结合代理推理管线按需渲染新视角以回答时空问题。作者构建了包含 15 个环境、473 对问答的 GEMS-Bench 基准,实验显示该方法在物体定位和时空问答上优于基线,且渲染质量与专用更新方法相当。代码和数据已公开。
arXiv 论文提出 Oddin 框架,旨在解决统一大多模态模型(ULMMs)在交错文本 - 图像生成中进行视觉推理时计算开销大的问题。该方法用紧凑的潜在 token 替代中间图像,完全由理解分支处理,仅保留生成分支用于最终输出图像。
论文介绍 Saga,这是一个多模态患者世界模型,能够从患者历史中学习共享状态以预测临床事件并生成多模态图像。研究基于 12 种癌症类型、461,370 名患者及 112 个中心的数据。
推荐理由:该工作提出 Saga 多模态患者世界模型,通过共享状态连接病史与未来事件,在癌症纵向预测任务中展现出优于基线的性能。
该研究提出一种结合内隐直觉先验与显式证据检索的双记忆框架,通过无训练路由机制自适应融合两种记忆以解决覆盖不足问题。在多项基准测试中,该方法整体优于单一范式基线(Episodic +4.67%),并在证据定位任务及分散信息整合方面展现特定优势。相关代码与论文已作为实验性预印本公开于 arXiv。
Work Agents 提出以工作为中心的系统视角,将智能体定义为结合基础模型与运行时框架的执行单元。研究通过“工作持久性”和“开放性”两个维度分类数字工作形式,并识别出可靠执行所需的五大核心能力家族及联合优化方法。论文构建了统一框架以评估智能体在状态化工作空间交付可验证结果的可靠性,为未来持续委托与环境适应指明方向。
智元发布 Genie Studio 2.0 集成平台,连接机器人模型、任务工作流与现场系统,支持新任务环境七天验证。平台包含 Flywheel 模块用于数据收集、模型训练及仿真测试,Agent 模块用于拖拽式任务编排,Monitor 模块用于车队监控与远程干预。
推荐理由:平台整合数据、模型与现场系统,支持新任务环境七天验证,已在制造与轨交项目完成闭环。
论文提出了 WebAnything 框架,旨在解决 Web 智能体训练所需的多样化、可执行且可重置的网站环境问题。该框架通过 Explorer-Builder 收集浏览器可观测的结构和资源,并利用独立验证器检查候选环境并指导修复,从而在不依赖人工实施或后期修补的情况下,从真实 URL 重建基于源码的 Web 环境。
10月26日,由港科大冠军队孵化的模感科技宣布完成亿元级天使+轮融资,资金将用于全身触觉产品研发及量产测试体系建设。其核心产品MoSkin基于电磁超构力学技术,覆盖手部至足底,旨在通过高频多维反馈修正低频决策以缩小仿真到现实的差距。目前公司仍处于量产测试体系建设阶段,尚未披露营收与客户名单。
该研究在电子显微镜图像标注任务上评测了 VLMs,发现 LoRA 微调可让开源模型媲美专家模型,且跨物种迁移在识别合并错误时表现优异。项目将在接收后公开。
Vorch-Human 是一个构建于双流音视频扩散 Transformer 上的统一框架,通过双级数据流水线实现从驾驶语音到场景合成的多任务生成。实验在短时及五分钟生成长度上验证了身份保持与音画同步能力,但因信息披露问题已被作者撤回。
针对动作条件世界模型在专家演示外轨迹上可靠性不足的假设,本文提出 WorldEcho 通过视觉完整性与 SE(3) 末端执行器轨迹对齐评估动作跟随能力。研究发现专家训练模型对非专家轨迹表现不佳,产生运动不一致或视觉无效生成。
论文提出了 WAM-TTT,这是一种针对世界动作模型的测试时训练框架。该方法不将人类视频视为模仿轨迹,而是将其吸收到冻结的世界动作模型内部的轻量级自适应记忆中,利用自监督视频预测和元训练阶段对齐人类演示与机器人行为。
针对现有自动驾驶基准过度追求真实性而忽视多样性不足的问题,本文提出 Flow-ERD 多智能体仿真器。该方法通过代理类型感知的流匹配(AFM)在保持运动一致性的同时保留细粒度多样性,并利用熵正则化蒸馏(ERD)微调闭环采样分布以防止模式坍塌。
推荐理由:该工作提出兼顾真实与多样性的多智能体交通仿真方法,在 WOSAC 挑战赛中表现领先。
论文 World from Motion 提出一种从单目视频生成可自由渲染的动态 3D 高斯表示的方法。该方法通过条件化视频模型,利用像素对齐的渲染来编码外观、几何和三维场景运动,以修正渲染伪影并填充初始重建中的缺失区域。
针对现有神经架构搜索(NAS)在稀疏历史下失效的问题,该方法结合冠军初始化与联合成对排序器预训练策略。在 TransNAS-Bench-101 基准上,Micro 自编码最坏 10% 排名从 290 降至 43,Macro 房间布局从 465 降至 45。该方法在 13 个细胞空间目标中超越纯代理排序器,覆盖 10 个目标的均值与最坏情况性能。
论文介绍 Ψ-0.6,这是一个统一的视觉 - 语言世界模型,能够在共享的推理过程中自适应地组合感知、语言、几何和仿真模块。该模型通过“思维流”交错处理图像、文本以及显式的几何与运动表示,支持反事实模拟以判断物体移动是否阻碍路径等任务。
推荐理由:该工作提出统一视觉语言世界模型,通过自适应思维流整合感知与几何推理,支持反事实模拟并提升多视角空间推理能力。
该研究通过 Gram 矩阵量化了预训练 LeWorldModel 在 Reacher 和 OGBench Cube 任务中对微小动作变化的响应,发现其最敏感方向与物理状态几何存在显著差异。
SceneBloom 结合视觉布局采样与合同引导的三维编译,在五种房型中实现了最高视觉质量、物理稳定性且零网格碰撞。其生成的场景分布更接近真实房间,训练出的物体导航策略在独立真实扫描中的成功率优于同等数量真实训练数据。代码已开源。
UniAction 是一种统一的动作条件化框架,旨在解决现有世界模型因动作类型而异导致数据碎片化的问题。该框架将任意动作表示为稀疏的动作元素集合,每个元素具有离散语义身份和连续时空坐标,并直接映射到预训练视频模型的固有位置空间。
推荐理由:UniAction 提出统一动作条件框架,将异构动作映射至共享时空结构并引入基数校准注意力,在四类动作形式上优于专用专家模型。
该工作提出一种基于光学相干断层扫描(OCT)的数据驱动框架,通过用户演示学习并执行带闭环反馈的软组织形状控制。在 12 种配置与 576 次体模测试中,残差条件化将全量扩散策略的方向性形状均方根误差从 0.748 mm 降至 0.555 mm;体素点云显式策略结合残差在深度与方向控制上分别达 0.534 mm 和 0.443 mm。
针对复杂高维生物搜索空间探索中物理执行受限于静态自动化和未建模物理变异的瓶颈,本文提出 VERID(Verified Infrastructure for Discovery Laboratories),这是一种持久化、高保真的实验室工作站语义数字孪生基础架构。
推荐理由:提出 VERID 语义数字孪生基础设施,通过仿真验证与错误恢复机制解决湿实验室自动化瓶颈。
arXiv 论文 AWARE 提出了一种基于外部摄像头监控的异常检测框架,无需访问车载传感器即可通过系统动力学估计和状态预测识别关键基础设施中的未知异常。该框架在包含负载碰撞和电机退化等场景的 240 条真实机器人起重机轨迹上评估,相比最强基线在仅凭相机进行噪声状态估计时实现了 26% 的分类性能提升。
HGWM 耦合了 LLM 生成的房间锚点先验与持久化的空间语义记忆,采用两阶段机制(粗粒度视觉语义评分与细粒度符号兼容性测量)结合 LLM 方向推荐进行本地动作选择。
推荐理由:该工作提出分层图引导的世界模型,在仿真环境中实现零样本物体导航,提供了具体的成功率与路径效率指标及消融分析。
Ning Zhou 和 Edmund Hunt 在 arXiv 上发布论文,提出将集群视为动态能力而非固定类别,构建可在中心式规划与去中心化自组织间切换的统一控制框架。该框架允许系统在条件允许可用时利用中心式优化的最优性,而在环境压力下优雅降级为去中心化集群以维持鲁棒性和适应性。
该研究针对超声成像高度依赖操作者的问题,提出一种解剖锚定的模仿学习框架,结合外部视觉定位与力反馈实现自主超声扫描。系统在未见参与者上对肾脏、胆囊和肝脏标准切面采集及桡动脉扫查的任务成功率分别达到 96%、94%、88% 和 94%,相比微调后的 pi_0 模型在腹部任务上的成功率提升 10-42 个百分点。
论文介绍 Tempo-Zero,一种通过闭环可执行环境、执行验证的自博弈和环境演化来实现自我改进的视频推理框架。该方法让单一策略同时担任出题者和解题者,利用程序执行生成的真实时间戳证据替代噪声伪标签进行训练。尽管仅基于简单程序且无需监督微调或外部视频数据,Tempo-Zero 在十二个真实世界视频基准上平均优于基线模型和近期自博弈方法,尤其在时序定位任务上表现显著。
该论文提出了 UniWorld 框架,旨在解决连续视觉世界仿真中场景几何演化与持久化外观的耦合问题。该方法在共享视频生成模型中整合深度轨迹和参考外观,通过噪声对齐的重叠延续机制保持视觉历史,并利用滚动深度潜在状态保留几何控制。
推荐理由:UniWorld 框架在共享视频生成模型中耦合几何与外观历史,实现了实时连续视觉仿真。
论文提出 PASPA 方法,通过“过去为状态、现在为注意力”原则解决长周期伴语动作生成中的风格一致性问题。该方法在块级流匹配框架下实现,利用跨块持久状态总结历史、块内双向自注意力建模当前片段,并支持多块监督与混合无分类器引导训练。实验显示其在公开基准上达到最先进 FGD 性能并保持长序列风格一致性。
针对现有基准在长上下文任务中的不足,研究团队推出包含约 900 小时视频的 LongVideo 数据集和 4DMemoryBench。评估显示,独立基础模型难以应对长视界任务,而集成四项技能与 22+ 专用工具的 4DMemory Harness 使所有测试模型的长视界性能提升超 50%。该成果旨在促进具备处理复杂长周期任务能力的时空智能体发展。
论文介绍 DynaSlots,一种无需动作标签的预训练框架,将点云帧分解为时间一致的局部槽位并在该粒度建模动力学,而非传统的全局场景级压缩。该方法通过时序传播模块保持槽位一致性,利用逆动力学提取潜在动作,并结合扩散模型预测未来状态以学习邻近与运动关系。
ACWM-RM 是一种联合评估视觉质量与动作跟随保真度的奖励模型,在 AVM-Eval 基准上优于 IDM 等基线且无需真实视频。该模型基于包含 506.3k 对的 AVM-Pref 数据集预训练,利用动作不匹配对监督动作跟随、视频不匹配对监督视觉质量并暴露生成视频伪影。下游强化学习实验表明其在两项指标上均表现更佳,揭示了 IDMs 在生成视频上的可靠性局限。
论文提出了适用于高速越野导航的 TravSUITE 系统,该系统包含利用视觉基础模型构建几何语义局部地图的高效体素映射器,以及联合预测鸟瞰图下几何、语义、速度和成本的统一神经网络。
推荐理由:该工作提出无标注的自监督训练策略,结合地图补全与逆强化学习实现越野环境下的可通行性预测与风险自适应。
arXiv 发布 RADIANT 论文,提出一种基于物体表征的神经网络渲染器,无需每场景优化或运行时光线追踪即可合成新场景的全局光照。该架构将每个物体表示为 32 个表面补丁 token,利用 SE(3) 不变的内积嵌入几何距离与朝向以捕捉光传输,避免了对多边形数量的二次方依赖。
推荐理由:提出基于物体表征的前馈全局光照架构,在同等算力下训练步数更少且精度更高。
V-JEPA2 与 VideoMAE 两个冻结的自监督视频编码器在双体设置下,能可靠区分弹性与非弹性碰撞。V-JEPA2 的动能读数可跨环境迁移且其预测器对产生动能的碰撞更敏感,但两模型均无法保持随几何变化而稳定的摩擦系数。该研究揭示了现有工作仅关注单物体量的局限,表明关系物理属性(如动量传递)在视频编码器中的表征能力存在显著差异。
针对 NASA CADRE 等任务中单台漫游车无法应对月夜极寒的问题,本研究利用强化学习训练共享策略,让二十个小型机器人无需位置参考或相互接触,自发形成聚集核心与边缘循环的行为模式。
推荐理由:研究通过强化学习让二十个机器人自发形成类似帝企鹅的聚集与循环行为,在无需位置参考或接触的情况下实现热调节,使所有机器人在月夜后幸存。