DomainShuttle:面向开放域的无限制主题驱动文生视频生成
论文提出了 DomainShuttle 方法,旨在解决开放域主题驱动文生视频中在域内保持特征与跨域灵活编辑的平衡问题。该方法引入 Domain-MoT 解耦视频与参考特征、Video-Reference DualRoPE 分离空间建模以及 Cross-Pair Consistent Loss 提取内在主体特征。实验表明其在多种开放域应用场景下均实现了显著的性能提升,兼具高保真度与生成灵活性。
论文提出了 DomainShuttle 方法,旨在解决开放域主题驱动文生视频中在域内保持特征与跨域灵活编辑的平衡问题。该方法引入 Domain-MoT 解耦视频与参考特征、Video-Reference DualRoPE 分离空间建模以及 Cross-Pair Consistent Loss 提取内在主体特征。实验表明其在多种开放域应用场景下均实现了显著的性能提升,兼具高保真度与生成灵活性。
论文提出 3D-PLOT-LLM,通过重构输入 token 流使模型能直接引用物体部件,无需额外的分割解码器或边界框头。在 PartVerse-QA 基准上达到 caption-to-slots Jaccard 0.459,并在多个部件感知描述任务中优于 PointLLM、Kestrel 等基线,且新增可训练参数少于 100 万。
论文提出了 EvoWorld 模型,旨在弥合全景视频生成与演化 3D 记忆之间的差距,以实现空间一致的长视界探索。该方法以单张全景图为输入,先生成未来视频帧,再利用前馈即插即用 Transformer 演化场景的三维重建,最后基于该显式 3D 记忆的几何重投影合成未来内容。
NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。
推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。
Fluidic Body 是一种让操作者像使用手一样控制蜂群机器人的系统。通过在虚拟空间中建立手与蜂群间的流体映射,用户通过简单的手部动作(如张开或握紧)即可改变蜂群的物理属性:张开时蜂群变软以绕过障碍,握紧时蜂群变硬以推动物体。
Bowen Xiang 提出一种针对骨盆骨折透视影像的闭环注册框架,利用校准后的三明治协方差界定误差边界并标记不可信片段。在仿真实验中,该方法结合 Minimax 规划策略,相比临床协议平均仅需4.20次投照即可达到认证标准(优于无检查时的4.72次),且将整体误停率从23%降至6%,同时在真实完整骨盆数据上未出现假阳性认证。
针对 JEPA 风格世界模型中静态背景干扰导致规划失败的问题,作者提出运动引导对比正则化方法。该方法利用光流相似度构建软对比目标,结合潜在预测与 SIGReg,鼓励表征保留同一集内的状态区分度并抑制静态内容影响。在 OGBench-Cube 随机化背景下,规划成功率从 52% 提升至 78%,LIBERO-Object 任务从 14% 提升至 54%,并在四个其他视觉控制基准上保持相当性能。
论文 ConDR 针对 DeepReach 方法因对称惩罚导致不安全状态被误判为安全的问题,提出一种学习 HJI VI 下解的方法。该方法通过构造性约束障碍分支与终端条件,利用单边损失将残差推至零以下的安全边际,并防止全部分类为不安全的退化解。
论文指出当前扩散模型缺乏维持世界状态和进行事件后果推理的机制,提出 Out-of-Sight Causal Evolution 新任务。作者构建了 EvoWorld 框架,利用视觉语言模型作为“世界大脑”维护演化账户并推理状态转换,配合分段自回归渲染器实现视觉呈现。
本文介绍 CoupledSGA 方法,通过关系交互图和结构一致性损失解决连续时间场景图模型中互斥谓词预测冲突的问题。研究指出当前 With-Constraint 评测协议无法反映引入结构一致性带来的召回率下降代价,建议同时报告无约束结果与矛盾率。代码与论文已接受于 ICVGIP 2026。
该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。
推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。
Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。
推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。
该论文针对无人机协同感知中的带宽瓶颈,提出 UCP 框架以观测不确定性和判别不确定性表征协同价值,生成空间请求与供给图以提升通信效率,并通过 U-Fusion 模块聚合消息。实验在三个基准数据集上验证了其在三维目标检测与轨迹预测任务中优越的性能带宽权衡及泛化能力。
该论文提出 Typed Spatial Markdown(TSM)作为桌面网页界面的文本状态表示,能够联合编码 UI 布局、语义及显式位置。作者构建了 AtomBlock-WebUI 数据集以训练截图到 TSM 的渲染器,并在此基础上开发了 MKD2World 世界模型。
针对现有推理分割框架缺乏场景特定意识的不足,本文提出 DSRS(Driving Scene Reasoning Segmentation)任务及基准数据集,并发布 DSRS-Net 新架构。
ReactWorld 是一种受思维链推理启发的具身视频生成模型,旨在解决机器人动作引发的场景变化中物体响应与任务意图及接触动力学不一致的问题。该模型在特征空间引入交互响应场预测器以明确参与者角色、未来运动响应强度及局部运动变化,并通过响应反馈适配器将预测位移转化为时间注意力位置偏差,从而引导跨帧的信息检索与物体特征更新。
针对服务机器人基于自由指令(含视觉特征与场景文本)检索并搬运日常物体的任务,研究提出 STARE 模型。该方法利用跨语言视觉提示增强对嵌入环境的场景文本解释能力,并建模指令中命名实体与对应物体间的复杂关系。
TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。
推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。
该论文针对成像逆问题中的流匹配生成后验采样提出 FLINT 框架。现有方法将轨迹空间优化与源空间初始化视为独立设计,而本文证明二者存在内在耦合并推导了统一稳定性界限。FLINT 通过两步法实现:首先利用流形约束的邻近目标函数在少量迭代内建立高保真起点,随后在受限随机性调度下执行引导采样以防止优势被噪声侵蚀。实验显示该方法在多种逆问题中实现了感知质量的最优和计算效率的优越性。
推荐理由:FLINT 提出将初始化邻近性与采样随机性耦合的新框架,在保持高保真起点的同时通过受限噪声注入提升逆问题求解效率。
Otobong Jerome 等人研究了最优快速探索随机树(RRT*)在三角形网格地形上的适用性。研究发现原始 RRT*因零体积特性无法运行;简单的 Mesh RRT*版本虽能运行但最小化错误目标,导致成本偏差。
针对平层联合嵌入预测架构(JEPAs)在长视界规划中时序区分度不足的问题,本文提出一种轻量级时间到目标(Time-to-Goal, T2G)指标。该方法利用离线轨迹中的潜在三元组进行训练,通过边距排序损失显式学习时序顺序,无需奖励或策略标签即可替代欧氏距离作为规划成本。
推荐理由:该工作提出轻量级时间到目标指标,解决平层世界模型在长时规划中时序区分度不足的问题。
针对学习型机器人策略在训练阶段评估困难的问题,论文提出 RACE 指标,利用固定集的成功轨迹校准动作偏差并聚合累积评分,替代昂贵的实机测试。实验表明,该指标在仿真中优于基线且对验证集变化鲁棒,在真机上其检查点排名与部署成功率一致,能有效区分不同偏差对任务成功的影响。
推荐理由:提出 RACE 指标,利用固定成功轨迹校准动作偏差以替代昂贵实机测试,仿真与真机实验均显示其排名与部署成功率高度一致。
针对大语言模型生成的室内场景缺乏整体质量评估的问题,本文提出了 GREP 方法。其核心是将评估从特定问题转向建立三层哲学:基础物理有效性检查、视觉连贯性关注与人类使用逻辑对齐。
OdorSpaces 是一个基于物理的仿真平台与基准,旨在探索被忽视的具身 AI 中的嗅觉感知领域。该平台在 Habitat-Sim 中集成了由 Fire Dynamics Simulator (FDS) 驱动的三维气味传输与扩散模拟,使智能体能够利用视觉和嗅觉观测在逼真的室内环境中导航。
该论文提出了 PHIL(Proactive Human-in-the-Loop)框架,旨在通过偏好学习实现主动策略修正与后训练。系统允许操作员在 XR 界面预览策略预测的未来运动并在接管前进行干预;被拒绝的策略预测会与同一状态下执行的修正动作片段配对,用于鼓励策略偏好这些修正。
推荐理由:PHIL 框架通过 XR 界面预览策略预测并允许人工干预,利用偏好学习将修正动作反馈给策略,使扩散策略和 X-VLA 在四项真实任务上的成功率分别提升约 26% 和 19%,且减少了不必要的恢复行为。
该论文诊断并修复了对比式视觉语言模型在空间关系(如左/右)上的失效问题,发现其成因包括聚合层无法访问或丢弃几何信息。作者提出一种零参数的查询条件化方法,从补丁网格中重新计算几何结构并存储为向量。
SurgTransfer 提出新型多步动作学习框架,仅从无标签视频中学习上下文不变的动作表示并实现跨手术场景迁移。该方法在 SurgToolLoc-2022 和 PitVis-2023 公开数据集上通过定量指标与外科专家定性评估验证了有效性。代码及实现细节已发布,旨在解决现有方法依赖真值运动学或特定任务标注的局限性。
针对当前智能体难以完成长周期专业工作流的瓶颈,该研究提出 Agent-R^2 框架,利用真实职业种子、语料库衍生的工作流证据及网络真实文件进行数据合成。
该研究指出传统推测解码仅关注接受率会引入数值噪声并影响长程推理准确性。作者提出通过训练草稿模型在关键决策点被拒绝,利用目标模型进行低噪声推理,在不改变目标模型分布的前提下提升长程代理任务的成功率。材料为 arXiv 预印本,未提及具体部署或评测基准细节。
招商局先进技术研究院下属狮子山人工智能实验室发布了具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」。该模型采用 MoE 架构,总参数约 35B,仅激活约 3B 参数。
推荐理由:该模型通过能力牵引的数据引擎与闭环迭代机制,在不堆砌数据的情况下实现了十项主流基准指标提升。
论文提出了 Kierston 城市级仿真引擎和 KierstonBench 基准,模拟了约 12.5 万居民的日常活动及通信、金融等记录。该基准包含 32 个任务家族,涵盖记录关联、事件重建及欺骗性账户评估。
论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。
推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。
论文介绍了 DreamX 方法,该方法复用预训练视频扩散模型提取紧凑的潜在动作表示,将每帧压缩至 4 个 token,实现了跨本体(人与机器人)和环境的零样本动作迁移及策略学习。在 LARY-Bench 基准上达到当前最佳性能,支持任意到任意的视频转移。材料为 arXiv 预印本版本,未提及同行评审状态或具体部署结果。
论文提出 Route Anything 统一框架,通过构建涵盖语言、视觉、视频、语音及机器人操作的跨模态基准矩阵(含 37.4 万次运行数据),研究了在质量与成本权衡下的最优路由机制。实验显示,基于输入的 oracle 路由比最佳固定候选者提升 5.4 分,学习到的路由器进一步提升性能并减少 24% 的策略时间,平均效率提升 8.82 倍。
推荐理由:构建了跨模态任务路由框架,证明动态策略选择比固定候选者更优且能显著降低计算成本。
IROS 2026 太空机器人专题研讨会上,NASA、JAXA 与学界专家讨论了机器人在月球勘探、载人飞行及轨道作业中的角色。NASA 将重心转向 2029 年具备初始运行能力的 MoonBase 项目,需机器人自主建造栖息地并利用原位资源;JAXA 的 MMX 任务要求采样机器人在信息有限条件下于 1 分钟内采集超 10 克月壤。
该工作引入流等价世界建模框架,利用时间参数化对称性构建潜在记忆以支持长时程动力学预测。该方法使潜在记忆随自运动及推断的外部物体运动进行等变变换,保持视野外区域信息在时间推进中的对齐。研究在 2D 和 3D 部分可观测视频世界建模基准上展示了该框架相对于最先进扩散、增强记忆及循环架构的优势。材料为 arXiv 预印本,已获 ICML 2026 接收。
针对现有 3D 多模态大模型依赖视觉瓶颈导致空间组织信息丢失的问题,论文提出 SceneScaffold 框架,将被动特征压缩重构为主动场景组织者。该框架在语言推理前构建角色感知的空间支架,将超点级视觉证据组织为实体状态、场景帧状态、关系状态和全局摘要四类组件,分别保留核心语义、维护空间参考、编码交互线索并提供紧凑上下文。
该系统提出一种延迟感知管道,结合 VLM 手术物体识别与分割遮挡推理,在伪 AR 基准上实现 87.43% 的遮挡检测准确率。端到端平均延迟为 479 ms,较云端大模型基线降低 62.90%,验证了手术增强现实实时遮挡检测的可行性。
这篇综述通过结构化叙事综合和可复现的证据映射,定义了医疗世界模型的概念边界与技术基础。研究筛选了 1455 条记录并汇编了 300 个来源,其中 14 项符合严格的实证定义。文章区分了患者状态表征、时间动态建模等四大能力,指出当前证据多处于回顾性或临床前阶段,并提出了从轨迹预测到干预比较所需的精确干预表示与因果机制等具体证据要求。
推荐理由:该综述梳理了医疗领域世界模型的四大能力与临床转化证据要求,区分技术可行性与临床成熟度,为相关团队提供评估框架。
论文提出了 IntentNav 框架,旨在解决未知环境下的物体导航问题。该方法引入前沿基于的人类意图标注技术,从低层动作推断高层搜索意图;构建包含 BEV 记忆与视角视觉记忆的候选空间,利用 VLM 策略选择最佳目标。在 MP3D、HM3D-v1 和 HM3D-v2 基准上取得了学习类方法的最优成功率,且该导航接口可零样本迁移至轮式、四足和人形机器人,无需额外微调。