SimuScene:基于单张图像的物理就绪组合式 3D 场景重建方法
该研究提出 SimuScene,一种将物理引擎纳入形状与布局估计生成过程的组合式 3D 重建管线。不同于仅用于后处理修正,该方法利用物理引擎在生成过程中作为诊断测量工具,通过重力模拟将穿透和支撑失败转化为定量修正信号以驱动模态形状重采样及轻量级几何拉伸修正,从而缓解累积误差并产出稳定的物理就绪场景。
该研究提出 SimuScene,一种将物理引擎纳入形状与布局估计生成过程的组合式 3D 重建管线。不同于仅用于后处理修正,该方法利用物理引擎在生成过程中作为诊断测量工具,通过重力模拟将穿透和支撑失败转化为定量修正信号以驱动模态形状重采样及轻量级几何拉伸修正,从而缓解累积误差并产出稳定的物理就绪场景。
本文旨在解决手语生成(SLP)中运动空间指标高但无法表征输入句子的‘条件坍塌’问题。作者提出在初始姿态、输出多样性和目标保真度三个独立层面进行评估,发现现有扩散及回归模型在 How2Sign 等大规模数据集上均出现坍塌,而 Faithfulness 与训练数据对测试条件的覆盖密度正相关而非语料库大小。
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
针对跨条件部署中形稳性假设失效的问题,本文提出无需训练的SAFEVPR方法,利用冻结DINOv2特征的互最近邻评分替代余弦相似度,并结合分箱Clopper-Pearson阈值进行校准。
论文提出一种结合学习化可达性与在线安全认证的方法,利用傅里叶神经算子近似变障碍构型下的 HJ 解算子,并通过多重假设检验对 learned reach-avoid set 进行鲁棒场景优化认证。
该研究在 Wizard-of-Oz 设置下,利用耳内音频与头部倾斜构建可穿戴中介通道,使屏幕社交机器人在 40 名参与者组成的 20 对游戏中成功完成 39/40 次信息交换。实验显示佩戴者压力无显著差异且可用性良好,但非佩戴者存在感知不一致,揭示了未来设计需关注隐私与公平性。
computeSOSFunnels 开源包提出最小体积公式,在单轮车、摆杆及 12 状态四旋翼实验中验证了闭环系统对计划的跟踪。该工具在真实动力学下对漏斗边界 39,000 个样本均无违规,且构建半定规划耗时远大于求解时间。论文已提交 IEEE Transactions on Control Systems Technology,代码与文档公开可用。
DUNEDepth 提出一种混合架构,结合共享 DUNE ViT 编码器、双 MASt3R 交叉注意力解码器及融合 MASt3R 与 Reloc3r 的预测头,利用合成监督与自监督策略微调。实验表明,该方法在支气管镜视频序列上比先前提出的自监督方法更准确地推导深度信息与相机运动轨迹。该研究已接受 MICAD 2026 会议收录,共 10 页、4 幅图及 3 张表。
论文针对组合图像检索任务中多模态大模型成分化理解未被充分利用的问题,提出 Factorized MLLM Embeddings 方法。该方法通过中间目标想象目标模拟视觉修改意图,将组合查询理解与判别式嵌入构建解耦,并利用分解表示蒸馏至深层注意力层以传播特征。实验表明该方法在多个 CIR 基准上优于现有工作。
推荐理由:提出 Factorized MLLM Embeddings 方法,通过解耦组合查询理解与判别式嵌入构建,在 CIR 基准上优于现有工作。
该论文介绍 PROVE(Perturb-and-Repair Optimization for Vision-Language Evaluation),这是一种无需外部强监督或人工标注的自博弈框架。系统通过扰动、验证、修复和再验证的闭环,利用同一多模态骨干网络的参数更新来训练验证器,从而提升细粒度组合理解能力和视觉细节鲁棒性。
推荐理由:提出自博弈框架 PROVE,通过扰动 - 修复闭环训练视觉语言验证器,提升细粒度组合理解能力。
WayTrace 是一种连接网络地图指令与机器人运动的层级化系统。该系统利用现成的视觉语言模型读取分步导航指令、卫星地图和实时相机图像,并发出原子级语言命令(如“向左过马路”)。
针对通信受限环境下的移动机器人遥操作难题,该研究提出一种共享自主框架,通过嵌套硬软视野约束解决连通性与跟随者停滞的冲突。方法在几何上利用基于可见性的控制屏障函数(CBFs)强制连通性,并在二次规划中局部计算控制输入以平衡移动能力与连接保证。实验在受限杂乱环境中对运动学积分器和软件环 Crazyflie 四旋翼系统进行评估,结果显示该框架能保持链路更靠近连通集并减少跟随者位移。
论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。
推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。
该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。
推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。
该研究针对复杂视觉问答中模型难以定位关键区域或获取充分证据的问题,提出 Observation Policy Optimization (OPO) 算法以优化工具增强的图像思考中的观察动作。
推荐理由:针对多模态模型在图像思考中的观察动作优化难题,提出 OPO 算法通过不确定性引导分支与证据归因机制提升视觉推理性能。
EP-LVMQA 提出一种证据保留的粗粒到细粒度框架,解决医疗与工业培训中长视频字幕缺失或 ASR 噪声导致的证据难核查问题。该模型在 MedVidQA 数据集上实现 [email protected] 为 26.1、mIoU 为 31.8,较最强非本方法结果分别提升 6.3 和 5.1 个点。在低质量扰动下,其平均相对退化率从最强的 14.6% 降至 11.1%,并在 Ego4D-NLQ 等基准上表现相当。
针对视频大语言模型在场景转换理解和事件排序等时序敏感任务中的幻觉问题,本文提出无需重训的单次前向框架 SPOD。该方法利用帧显著性分析和时间差子空间技术,对隐藏状态进行分解与独立缩放,以增强动态信息并抑制静态外观偏差。
论文提出 Cycle WAM 模型,旨在解决现有世界动作模型(WAM)中动作与其视觉后果缺乏一致性训练的问题。该方法将视频与动作视为由因果关系链接的成对模态,通过双向转换增强跨模态对应关系并恢复前向与逆向动力学。
针对大视觉语言模型处理模糊指令时易过度自信的问题,本文提出 CLARA 框架,模仿人类行为主动向用户提问以获取关键细节,将模糊指令转化为结构化方案并生成目标场景渲染图作为理解确认。实验与用户研究证明该方法比现有最先进系统更准确一致,填补了模糊指令与具体任务规范之间的差距。
针对现有视频异常理解系统依赖预定义规则被动推理且易受证据缺失影响的局限,本文提出 SEEK-VAU 框架与 SEEK-Bench 基准。SEEK-VAU 将任务重构为在有限预算下的主动搜索与验证交互协议,策略能跨越事件链的前兆、触发及后果三个阶段主动收集并验证证据充分性。
arXiv 论文《Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation》提出一种名为 3D World Simulator 的框架,通过联合预测外观、几何和触觉观测来解决传统 2D 世界模型在空间一致性和长视界交互上的挑战。
本文针对视频推理分割中现有方法依赖语义单调且空间模糊的分割 Token 的问题,提出了显式视觉对象定位框架。该方法利用多模态大语言模型生成并细化目标的边界框与点集提示,引入查询多样化模块从不同视角描述同一目标以缓解训练偏差,并结合基于关键帧的选择策略支持掩码解码。在八个数据集上的实验表明,该方法显著优于最先进方法。论文已被 NeurIPS 2026 接收,代码已开源。
推荐理由:提出显式视觉对象定位框架,通过空间感知提示与查询多样化解决语义单调问题。
该论文提出 GVT3D 模型以解决 3D 具身参考理解中跨模态对齐难与计算成本高问题。方法包括在共享嵌入空间联合建模语言、手势和视觉输入的 Embodied Fusion 模块,以及针对点云粗粒度区域的注视(foveation)处理策略。
Spin Spherical Fourier Neural Operators(S²FNOs)通过提升球面卷积实现了对球面上任意自旋场(如风场、宇宙微波背景偏振及弱引力透镜剪切)的精确旋转等变学习。该方法基于 Mackey 函数框架与谐波表示,在现有基准测试中达到最先进水平,并在新引入的基准上超越了标量模型。研究证明了该层级的旋转等变性保持至机器精度,相关代码与论文已作为预印本公开。
该研究提出 ActOR 框架,将墙挂式环境相机与机器人头显数据融合为共享对象级数字孪生(DT),利用大语言模型代理在 DT 上进行规划并调用预编程的移动与操作技能。
论文 CounterSketch 提出一种将自然语言‘如果...’查询转化为物理合理动画的框架。系统整合视觉语言模型场景定位、因果事件链推理及基于约束的轨迹生成与验证,通过更新场景图计算连续物体轨迹并投影为运动边界框以指导下游合成。
该研究评估了 Qwen2.5-VL-7B 和 InternVL3.5-8B 在建筑场景中被撞击危险检测任务中的表现,发现尽管模型能识别物体并编码空间关系,但高达 100% 的远距离场景被误判为危险。实验表明工人存在与否对决策的影响远超空间距离,且注意力干预无法消除这种共现偏差。通过让模型基于自身编码的空间表征进行条件化决策,可将特异性从 0.36 提升至 0.58,优于阈值重校准方法。
推荐理由:研究发现 VLM 误报源于决策层对共现先验的过度依赖,通过条件化空间表征可将特异性从 0.36 提升至 0.58。
针对杂乱环境中需临时移动物体的非单调重排难题,VARP 模型直接从专家演示的视觉状态中学习,无需重新规划或在线组合搜索。该模型在挑战基准测试中达到 98.3% 成功率,单次任务仅耗时 0.4 秒,且在执行干扰下保持 97.5% 成功率、严重连续干扰下为 94.5%,并有效泛化至未见物体数量。
该论文针对现有世界建模方法过度依赖视频生成机制、忽视预测效用的问题,提出 Compression Forcing (CF) 框架。其核心包含动力学感知分词 (DAT),将历史观测按动力学显著性降序压缩;以及基于扩散骨干的分层历史引导 (HG-H),在推理时选择性放大关键信息。实验表明该方法在多环境下的预测保真度、物理真实感及下游决策性能均得到提升,确立了其在世界建模中的灵活性与有效性。
该预印本研究了具身智能体如何在环境变化时利用过往经验而不被旧预期覆盖。研究提出一种基于物理的动态迷宫设置,区分空间变化的重复性与动作后果的连续性。通过跨回合空间变化记忆学习环境与变换关系,状态 - 动作 - 结果经验则优化运动预测。
该论文提出了 SurgEye 框架,旨在解决手术计算机辅助干预中的场景理解难题。该方法利用视觉基础模型进行推理,无需依赖大规模问答对进行的指令微调。具体包括路由多任务感知(RMP)模块,通过公共感知标签学习特定任务路径以生成时空证据;以及代理组合推理(ACR)模块,利用冻结的大语言模型协调 RMP 专家与时间记忆工具,将跨任务和时间的证据组合为基于事实的答案。
论文提出 Counterfactual Spatial Imagination 概念并发布 FlowBench 资源,包含 42.8 万涵盖仿真与真实场景的训练样本及自动配对管线。在 Qwen3-VL-8B 上微调后,仿真准确率提升 29.5 个百分点且现实图像提升 16.9 个百分点;同时使 Psi-0.6 的文本到流预测准确率从 52.1% 提升至 61.7%,代码与数据集已开源。
该论文描述了作者团队在 UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道的最终方案,该方案仅使用合成数据训练并在未见过的真实路边激光雷达上评估。
推荐理由:作者提出针对路边 LiDAR 小目标检测的几何修正与分布对齐方法,并分享了可预测提交分数的实验方法论。
MoTWorld 提出一种无模板、数据高效的统一 3D 和 4D 骨架生成框架,利用流匹配技术通过单次前向传播为整个序列生成时间对齐的骨架。该方法支持显式骨架数量控制及不确定性估计,并通过从大规模 3D 数据初始化到中等规模 4D 数据的课程学习解决配对数据不足问题。实验表明其在静态 3D 绑制和动态 4D 重建预测中均实现了高质量与时间一致性结果。
PhysFTM 是一种将 Tucker 模式因子参数化于再生核希尔伯特空间(RKHS)并融入偏微分方程约束的模型,旨在解决固定稀疏传感器下的物理动力学重建难题。该方法通过交替最小化重构支持帧连续场,并在 Tucker 核心空间构建轨迹以解码缺失帧,在 Allen-Cahn、Navier-Stokes 等四个基准上验证了高精度重建能力。代码已开源,论文已被 NeurIPS 2026 接收。
百度Apollo在深圳举行的百度AI Day·Apollo专场上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出世界模型“2+3”判断标准。
同一新闻,精选展示《百度Apollo World世界模型发布:让AI训练AI》
论文 PrimeSim 提出了一种动作条件化的多视图世界模型模拟器,通过渐进式中期训练和后期训练解决动作跟随与多视图一致性难题。该模型在 30,110 小时、22 个平台的数据上预训练,支持刚性及可变形操作任务的长程仿真,并在多个基准测试中领先开源同类模型。作者发布了模型权重、推理代码及训练代码,但材料仅基于 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。
推荐理由:原文给出了跨具身演示训练的世界模型架构与代码入口,相关团队可据此评估其仿真一致性与长程规划能力。
论文介绍 Micius-Flash 是一个拥有 270 亿参数的工程领域多模态模型,具备原生多模态输入、深度推理和 256K token 上下文窗口。研究团队构建了知识树驱动的数据飞轮,训练了半导体知识与推理、硬件编码等专家模型,并通过多教师同策略蒸馏整合能力。
推荐理由:该预印本介绍了面向工程领域的轻量级多模态模型 Micius-Flash,展示了其在硬件代码与半导体任务上的性能提升及工具执行反馈能力。
11月4日,保利发展控股与北京银河通用机器人在广州签署战略合作协议,结合城市空间运营资源与具身智能技术,探索机器人于住宅社区、商业空间及城市服务等场景的应用。双方将共建高质量数据体系与空间智能运营平台,推动能力迭代并积累技术标准经验,目前尚未披露具体部署规模及实施时间。
Hao Fei 提出"AI 增强人类智能(AHI)”范式,定义“认知共生体”为嵌入个人运行时、具备感知保持理解行动思考与成长能力的终身伴侣。该研究构建了包含信任机制的共生循环架构,并探讨了从隐蔽协助到强制采用等新型治理风险。论文共 59 页含 21 张图及 18 个表格,已上传至 arXiv(编号 2611.05376)。