Click3R:基于稀疏对应点点击的交互式立体 3D 重建
针对现有前馈大模型 3D 重建无法纠错的局限,提出 Click3R 框架,通过轻量级适配器将用户提供的少量跨视图对应点注入网络以解决几何歧义。研究构建了专门用于暴露现有方法失败模式的基准测试,实验表明仅凭一次点击即可降低重建误差,在标准及自建基准上均提升性能。材料为 NeurIPS 2026 预印本,提供 GitHub 项目页面与论文链接。
针对现有前馈大模型 3D 重建无法纠错的局限,提出 Click3R 框架,通过轻量级适配器将用户提供的少量跨视图对应点注入网络以解决几何歧义。研究构建了专门用于暴露现有方法失败模式的基准测试,实验表明仅凭一次点击即可降低重建误差,在标准及自建基准上均提升性能。材料为 NeurIPS 2026 预印本,提供 GitHub 项目页面与论文链接。
论文 SWAM 针对世界动作模型(WAM)中动作学习可能损害语言 - 视频对齐的问题,系统研究了监督设计与架构影响。研究混合使用第一人称视频与 UMI 演示数据,在固定预算下提升了控制泛化能力。
arXiv 论文提出 Library of Hands (LoH),一种无需重新训练即可适配不同控制器或相机视角的世界模型方法。该方法冻结 LeWM 等世界模型,仅通过读取摄像头图像差异来识别并修正指令到实际动作的映射(即“手”),从而解决同一指令在不同硬件下效果不一致的问题。
论文介绍 WanderBench 基准,包含 745 个真实与 AI 生成的单镜头视频及键盘动作路线,评估六维度的 24 个子指标。测试发现现有模型在长片段中虽保持静态场景和画质,但丢失相机控制与源动态,且无法保持一致的 revisit 地点。作者提出 WanderLand 免训练框架,通过条件化同一时刻源内容与早期静态内容提升表现,部分维度最高改善 8.3 分。
推荐理由:提出 WanderBench 基准与 WanderLand 框架,揭示视频条件生成在长序列中丢失动态一致性的问题并提供免训练改进方案。
该方法利用伽利略群表示机器人轨迹、亚里士多德子群表示传感器外参,通过群结构直接耦合运动与时序偏移,无需单独参数化连续时间轨迹。研究开发了扭率与 IMU 驱动的运动先验,兼容理想与非理想时钟,在相机、位置及测距测量下实现了与现有方法相当的仿真和真实实验性能。该简化框架在不牺牲性能的前提下提升了多传感器状态估计的使用体验。
针对现有研究主要聚焦短视频、长视频外绘存在生成不稳定和语义漂移的问题,本文提出 LongSCOP 方法。该方法通过自强制训练、潜在空间校准和未来参考等组件提升稳定性,并利用基于 VLM 的智能体自动选择关键帧以维持长时序内的主体与场景一致性。
针对动作条件下世界建模中宏观状态构建与视觉变化一致性的挑战,论文提出基于商因果构建的视觉世界模型 QCC-WM。该模型利用动作响应引导宏观变量构建,并通过共享参考商测量约束预测状态与观测变化的一致性。
针对大规模矢量高清地图标注成本高及现有方法忽视预测不确定性的问题,本文提出 ReVMap 框架。该方法利用点级定位不确定性将全局先验融入局部预测以提升鲁棒性,并预测局部到全局的连通性以进行可靠性感知的选择性更新。在 nuScenes 和 Argoverse 2 基准上的实验表明,ReVMap 在局部地图预测与全局地图构建方面均达到最先进水平。
推荐理由:提出 ReVMap 框架,通过不确定性引导先验与连通性感知融合解决矢量 HD 地图构建中的误差传播问题。
该研究提出针对以自我为中心的基础模型的法证评估框架,并以 Meta Project Aria Gen~1 采集的四处室内模拟犯罪场景进行验证。EFM3D 生成网格平均含$12{,}668\pm2{,}430$个顶点,推理处理每场需$50.77\pm6.12$分钟,其能力更适配房间几何与空间关系而非精细法医证据。该框架为未来模型在专业法证环境下的评估提供了可复现基础。
该研究提出一种结合三维预测与轨迹跟踪接口的博弈论模型预测控制规划器,用于解决无人机的协同目标到达及对抗追逐逃逸任务。PyBullet 仿真验证了可行性,实验室飞行实验进一步证实了物理平台上的轨迹跟踪接口有效性。论文已提交至 ECC27 会议,代码与权重暂未公开,仅作为控制器开发的评估基础。
针对现有具身智能基准缺乏对复杂布局中空间推理及动态场景下空间记忆的评估问题,作者提出了 GeoMind 基准。该基准包含 54 个围绕空间推理和空间记忆组织的任务变体,并提供了自动化生成与标注任务的流水线。广泛评估显示,各类代理在空间变化后的身份追踪以及将关系或几何约束转化为可执行动作方面存在显著弱点。材料为预印本版本,未报告真实机器人部署结果。
作者 Dibyendu Ghosh 提出 Motion Belief Action(MBA),这是一个基于场景地图的决策层,用于处理机器人无法直接观测的物理状态与风险。
推荐理由:提出 Motion Belief Action 决策层,在真实厨房与多地点场景中提升物体存在判断与推拉风险决策能力。
Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。
推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。
针对流式三维重建中因不可靠更新导致长期几何漂移的问题,本文提出 HIST3R 框架。该方法在 CUT3R 基础上,利用局部一致的历史状态修正更新方向,并根据当前观测与历史的视觉差异调节更新幅度。实验显示,在 ScanNet、TUM-Dynamics 等数据集上,HIST3R 显著降低了绝对轨迹误差并提升了重建精度,且保持了原有的内存占用和推理速度。
推荐理由:提出 HIST3R 框架,通过历史状态修正更新方向并调节幅度,解决长视频重建中的几何漂移问题。
OASIS 是一种分层导航框架,将模型预测控制器的优化结果反馈给软演员 - 评论家(Soft Actor-Critic)策略以生成子目标。该框架在包含静态与动态障碍物的五种场景中评估,相比层级及直接目标控制变体实现了最高的综合导航成功率。匹配对比显示其相对于无优化状态输入的相同层级架构具有持续的成功率优势,且主要优化失败更少、平均控制器时间相似。
arXiv 论文提出 LO-World,这是一个统一的 4D 世界模型,在共享鸟瞰图(BEV)潜在空间中联合预测 LiDAR 点云和 3D 语义占用。该方法通过耦合高效的混合范围体素自编码器和流匹配生成器,利用历史上下文缓存降低迭代采样延迟。
针对自监督学习的 Vision Transformer 缺乏聚焦机制导致感知表征模糊的问题,作者提出两种无需标注的视觉聚焦损失函数,利用多头注意力机制引导模型关注特定图像区域。该方法促使注意力头出现空间专业化分工,显著提升了空间选择性和多样性,并在零样本图像分割等密集预测任务上改善了可解释性与性能。论文已被 NeurIPS 2026 接收。
Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。
推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。
论文提出利用预训练扩散模型联合表示状态、动作和观测,通过粒子滤波维护关于状态历史的竞争假设并据此引导动作选择。实验在部分可观测导航与视觉操作任务上验证了该方法相比无滤波的动作生成策略,能提升状态估计精度与任务性能,且无需修改预训练模型或额外测试时信息。
论文提出了 ColNav 方法,通过几何体积编码目标与自车位置速度的不确定性(支持有界集和 Gaussian 描述),利用包围体层次组织时空管以覆盖整个时间视界而非离散采样点。该方法在预测模型失配下达到 100% 的成功率,优于最佳基线的 65%,并在密集交通中维持三倍的清除距离,同时在物理机器人上验证了实时运行能力。
K-PWM 是一种无需单独训练推理网络的世界模型,通过扩展卡尔曼滤波在部分观测下实现概率隐状态推断与 MPPI 控制。该方法在 Gymnasium MuJoCo 系统上相比基线降低了长视界预测误差并大幅减少训练时间,在高维 Menagerie 机器人上也实现了低计算量的实时追踪精度。论文已被 NeurIPS 2026 接收,代码与权重开放许可待注册。
论文提出了 InfCoiL 框架,旨在解决基于物理的人机交互(HOI)中意图映射到行为的问题。该框架通过共享形态接口耦合了形态感知的流匹配规划器与统一多形态控制器,在自回归的规划 - 执行循环中进行协同微调。
论文提出 SimplEvo 方法,探索多模态大语言模型在保留执行经验的文本记忆中直接控制的提升极限。该方法无需权重更新或后训练策略,通过单次演示生成无坐标任务记忆,并在训练阶段构建仅基于训练集集的有界工作记忆,每轮迭代后根据程序、完成度和恢复情况精炼该记忆。
该研究介绍了 ArmedAgent,这是首个系统性评估零样本机器人控制代码智能体风险的基准。涵盖 36 个任务在 5 种场景下的鲁棒性、恶意使用及间接注入风险,先在仿真中评估并在物理机械臂上验证。测试包括 GPT-6-Astra 等前沿模型,发现当前系统在数字资源威胁转化为物理行动方面存在显著安全风险。
本文提出 GenRM-Flow 框架,论证视频生成模型的微调目标(如 DPO、RWR)在数学上等价于利用生成器的速度预测误差作为奖励信号。该框架使偏好调优后的生成器直接在噪声潜空间充当过程感知奖励模型,无需依赖外部视觉语言模型或辅助评分头。理论分析表明不同优化路径均指向同一最优策略,且提取的过程奖励可无缝替代 FlowAWR 中的外部评分器,从而在不增加额外网络的情况下提升下游视频生成效果。
论文提出了 TransArt3D 框架,旨在解决仅凭少量图像重建可交互三维关节资产这一高度欠约束问题。该方法利用视频扩散模型捕捉物体在状态间运动的先验,将其转化为显式的部件结构和关节运动学。
DeepSoMo 是一种基于学习的框架,利用自监督潜在预测约束在部分可观测条件下估计软体机器人的可变形物体运动。该方法在高保真有限元仿真环境中评估,相比架构匹配的循环基线模型,在轨迹估计、姿态恢复、形状重建及接触推断上均表现一致提升。论文为 arXiv 预印本(arXiv:2611.11242),目前处于实验阶段。
MOSU2 是一个长距离导航系统,通过两阶段轨迹选择机制解决公共户外空间的复杂导航问题。第一阶段基于上下文推理决定何时需要额外证据并检索信息,仅在交互未决时触发第二阶段获取几何与动态信息以对齐场景背景进行决策。
SurgWorld 提出一种视频原生的自监督框架,利用 Out-of-Sight Dynamics Modeling 和 Geometric Visual Similarity 目标,在 17 个手术基准上超越现有视觉基础模型。该工作提交至 IEEE 待发表,代码与权重暂未开放,专注于捕捉直接观测之外的潜在手术动态。
现有机器人操作基准多假设环境静态且仅由指令决定任务语义,忽略了人类作为主动代理共享工作空间的现实情况。本文提出 HARP-Bench 基准,将人类活动视为操作问题的一部分而非背景干扰,涵盖提示、贡献、打断与共存四种条件,并配套演示生成管线。
该论文研究将连续人体动作压缩为有限离散 Token 时的输入姿态编码选择问题。作者对比了高斯关节热力图、欧氏空间根相对位置、局部关节旋转及全动力学四种编码,训练 VQ-VAE 分词器并评估代码本利用率与有效词汇量。
该研究提出基于交替方向乘子法(ADMM)的求解器,替代传统内点法解决稀疏分层非线性规划问题。实验显示在低至中等精度区间,其计算时间较结构利用型内点法最高减少 23.5%。该方法已扩展至全身动态控制的人形机器人行走任务,验证了其在大规模运动与动力学控制中的高效性。
SoftPAT3D 框架通过物理仿真为生成的可变形物体构建静水密碰撞网格与弹性参数,解决了现有管线仅支持刚体且无法处理自相交几何的问题。在全部六十五个提示词测试中,该系统实现了零非预期穿透,并支持场景编辑与机器人操作任务。该预印本论文包含 33 页内容、13 张图示及完整代码权重开放许可。
该论文提出全物体流(3D full-object flow)表示,将稠密 3D 轨迹分配至目标物体完整表面(含遮挡区域),统一适用于刚性与柔性物体。作者构建了一个包含 1210 小时视频与物理仿真的数据集,并训练了接收图像与任务描述、预测全物体流的世界模型。实验显示该表示具有可靠的标注质量、可扩展的流预测能力,并在新型场景与机器人本体上实现了有效的下游操作。
MemSurg 是一个针对机器人辅助手术的视频理解框架,旨在解决帧级提示无法利用早期观察历史的难题。该框架通过结构化记忆图存储带时间戳的实体类别、位置、运动线索和交互摘要,并利用时序链接与实体关联链接保留上下文及跨阶段观测。
推荐理由:该框架通过结构化记忆图解决手术视频理解中的历史上下文缺失问题,在前列腺切除术等基准上显著优于现有方法。
CC2-STG 模型通过凸凹分解与稀疏拓扑学习解决固定拓扑无法建模代偿模式的问题,结合几何分解、稀疏特征学习与自适应拓扑。在 KiMoRe 和 UIPRMD 数据集上的实验验证了该方法在临床病理动作评估中达到最先进水平。
论文针对视觉语言模型(VLM)作为端到端驾驶规划器时面临的跨城市域偏移问题,挑战了以往将其视为单一数量进行统一对齐的观点。研究通过激活补丁分析发现,域偏移在模态轴(图像与文本 token)和层轴上呈现结构化分布,且层间划分具有架构依赖性和数据集稳定性。
该论文指出视觉语言模型(VLM)在处理视觉呈现的信念推理任务时表现显著下降,主要瓶颈在于感知前端无法追踪主体在场状态及存在现实偏差,而非缺乏推理模块。研究提出五条件解离协议与感知贡献比指标,在抽象二维面板和自然主义三维游戏场景中测试了七种 VLM 模型约 15.9 万次 API 调用。
论文提出 Dynamics-Informed Action Learning (DIAL) 框架,旨在弥合潜在世界模型中动态学习与规划应用之间的差距。该方法在训练阶段通过 rollout alignment 让前向模型接触自回归预测的潜在状态,并利用多步逆动力学监督训练轻量级逆动力学头;测试时利用该头构建动态感知的动作序列以初始化交叉熵方法(CEM)搜索分布。
针对现有方法在移动观看者场景下需重新训练或存在全局尺度模糊的问题,本文提出了 VAComp 框架。该方法利用度量校准恢复全局尺度,并通过双棋盘法完成反向相机标定,实现了裸眼设置下的虚拟物体替换与外观材质修改。系统开发了两种非迭代混合方法(VAComp-SD 和 VAComp-SI),结合高斯几何校正与学习光度补偿,单次前向传播即可生成补偿图像,在真实实验中分别实现了实时更新和交互速率性能。