跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

精选归档 · 第 16 页

11月3日周二第 301–320 条
  1. arXiv · 机器人与计算机视觉82

    Lie Routing Vision Language Models for View-Robust 3D Understanding

    该论文针对多模态大语言模型在多视角 RGB 观测中存在的“视角诱导的语义漂移”现象,提出了 LieVLM 框架。该方法通过提取几何 token 预测局部旋转参数和路由系数,利用封闭形式的 Padé--Cayley 映射对投影视觉特征进行身份相对校正并门控回原特征,从而在保留预训练语义与直接空间上下文的同时学习视角依赖的特征调整。

    推荐理由:提出 LieVLM 框架,利用李群路由机制解决多视角语义漂移问题,在多项 3D 理解任务上优于传统融合方法。

  2. arXiv · 机器人与计算机视觉78

    UniGS-SLAM:增强几何与开放词汇语义的单目高斯 SLAM

    论文提出 UniGS-SLAM 框架,旨在仅通过 RGB 观测重建场景几何并构建语义地图。该方法将开放词汇语义从高斯重建中解耦,利用基础先验增强单目深度与位姿估计,并将语义观测融合到独立的稀疏体素图中以支持历史证据的修订。

    推荐理由:该工作提出仅用 RGB 输入即可解耦语义与高斯重建的框架,在 Replica、ScanNet 和 KITTI-360 上实现了领先的跟踪与几何重建性能。

  3. arXiv · 机器人与计算机视觉78

    Reconstruction as Spatial Evaluation:诊断大模型的跨视角空间智能

    论文提出 RECONSPATIAL 基准,利用真实多视角图像要求大语言视觉模型预测共享坐标系下的定向 3D 边界框,评估结构布局与度量精度两个维度。实验显示 GPT-6-Astra 等前沿模型在结构任务表现优异但度量重建存在显著差距,诊断分析表明仅靠关系一致性无法保证物理尺度准确,且几何误差会限制导航成功率。

    推荐理由:该基准通过多视角重建任务揭示大模型在相对结构与度量精度间的差距,并验证了空间微调的泛化能力。

  4. arXiv · 机器人与计算机视觉82

    对象检索并非无上下文:一种用于检测背景去除的反事实诊断方法

    本文针对对象中心检索管线中‘掩码背景后特征即代表物体’的假设提出质疑。作者引入 Keyhole Aperture Probe (KAP) 这一反事实诊断工具,利用现有泛分割数据集的真实掩码固定目标区域并仅变化外部像素,量化骨干网络的上下文依赖度。

    推荐理由:提出反事实诊断方法 KAP,揭示对象描述符仍依赖背景,并开源轻量适配器以在移除上下文时保持稳定性。

  5. arXiv · 机器人与计算机视觉78

    计算机图形学代理系统进展:统一分类法与文献分析工具

    该报告针对计算机图形学中代理系统研究术语分散、难以系统理解的挑战,提出两项贡献:一是建立涵盖多样化任务的代理系统统一分类法;二是开发辅助人类研究者大规模分析现有及新发表论文的代理文献系统。基于此,报告分析了新兴研究趋势,并讨论了跨任务协调代理与工具、设计人机协作界面与表示、维持长程规划与细化以及可靠评估交互式图形系统等开放挑战。材料为预印本论文,未涉及具体产品发布或真实部署结果。

    推荐理由:报告提出计算机图形学代理系统统一分类法与文献分析工具,梳理多任务趋势并探讨人机协作、长程规划及评估等挑战。

  6. arXiv · 机器人与计算机视觉78

    RCFormer:面向遮挡鲁棒的可靠性感知上下文 Transformer 用于面部关键点检测

    针对常规成像条件下面部关键点检测受遮挡、光照不足及大姿态变化影响的问题,本文提出 RCFormer 模型。该模型通过可见性加权全局摘要(VCC)、注意力引导的上下文聚合(VGCA)及空间残差修正(SRC)三个组件增强潜在补丁恢复的可靠性,并将恢复的热图作为结构线索输入现有检测网络。

    推荐理由:RCFormer 通过可见性加权与空间残差修正增强上下文恢复,在遮挡场景下提升面部关键点定位精度。

  7. arXiv · 机器人与计算机视觉78

    RIFT:一种基于残差感知的单步生成式视频压缩框架

    针对预训练流匹配模型难以适配编解码器退化轨迹的问题,论文提出 RIFT 框架以解决压缩依赖的方向失配。该框架引入残差几何诱导器(RGI),利用解码器可见的编码线索将预训练流预测转化为内容自适应的恢复更新,并整合时间步条件、全频段残差强度估计及方向增益调制。在三个公开视频压缩基准上的实验表明,该方法优于现有的生成式视频压缩方法。代码已开源。

    推荐理由:提出 RIFT 框架,利用解码器可见的编码线索自适应修正流预测方向与幅度,在三个公开基准上优于现有生成式视频压缩方法。

  8. arXiv · 机器人与计算机视觉78

    MoPort:一种面向运动的视感二维接口

    论文提出 MoPort,旨在让运动语言模型(MoLMs)直接处理单目视频的二维观测数据。方法引入成对视角对齐(PVA)和相机调制编码(CME),以解决从 2D 到 3D 的维度差距及视角变化带来的歧义。

    推荐理由:提出 MoPort 方法解决单目视频三维动作建模的视角与深度歧义问题,在 HumanML3D 等基准上优于现有基线。

  9. arXiv · 机器人与计算机视觉78

    DriftingPlanner:用于端到端自动驾驶的一步轨迹漂移生成模型

    论文提出了 DriftingPlanner,这是一种基于漂移损失训练的轨迹规划器,无需坐标回归项即可通过一步推理解码自车轨迹。该方法将类条件图像生成的漂移技术迁移至规划场景,利用每场景的吸引 - 排斥场机制,在 NAVSIM navtest 基准上实现了 93.75 PDMS 的最优性能,其单步推理结果与最佳扩散或流匹配设置(需十步推理)仅差 0.13 PDMS。

    推荐理由:提出 DriftingPlanner,通过训练端一步生成器实现端到端轨迹规划,在 NAVSIM navtest 上达到 SOTA 性能。

  10. arXiv · 机器人与计算机视觉78

    UniCaMo:统一相机与运动控制的视频扩散模型框架

    UniCaMo 是一个用于图像和文本生成视频的扩散模型框架,能够联合控制相机与物体运动。该方法基于参考图像、文本提示、稀疏 3D 物体轨迹及 3D 相机轨迹构建运动一致的输入噪声,结合参考衍生的噪声传播与新区域球高斯噪声表示,无需重建未观测场景几何即可提供有效的运动先验。

    推荐理由:提出无需修改架构的联合相机与物体运动控制框架,通过轻量微调实现视频扩散模型的先进运动可控性。

  11. arXiv · 机器人与计算机视觉78

    旧数据非谬:用于交互式视频世界模型的有效时间记忆

    该研究针对交互式视频世界模型在撤销动作后无法正确读取当前状态的问题,提出了一种名为 ReDate 的方法。该方法利用智能体行动日志中的有效时间戳对检索到的帧进行标记,使冻结的生成器能区分新旧视图而无需重新训练。

    推荐理由:提出基于有效时间戳的 ReDate 方法,无需训练即可解决交互式视频世界模型在撤销操作后的状态读取错误问题。

  12. arXiv · 机器人与计算机视觉78

    SceneBound:流式三维重建模型应记住多少?

    论文提出 SceneBound,一种无需训练的规则,用于决定流式三维重建模型何时写入关键帧。该规则仅在预测相机位姿距离所有存储的关键帧超过固定半径时写入,使关键帧数量与访问位姿的覆盖数成常数倍关系。在 CUT3R 和 StreamVGGT 等模型的循环状态或 KV 缓存中,该方法实现了评估的训练免费规则中的最低平均轨迹误差,且关键帧增长仅占 3% 至 6%。

    推荐理由:提出无需训练的 SceneBound 规则,通过几何覆盖数控制流式三维重建模型的记忆量与漂移。

  13. arXiv · 机器人与计算机视觉78

    Roz:世界模型潜变量的味觉测试

    论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。

    推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。

  14. arXiv · 机器人与计算机视觉78

    视频推理中 Best-of-N 验证器的选择增量与解题能力分离研究

    针对长视频复杂问答任务,文章指出标准 Best-of-N 流程的头号指标混淆了验证器的选择增益与自身解题增益。研究在五个基准上测量了选择增量(SI),发现弱验证器主要依赖候选答案提升,而强验证器则能超越多数投票;同时揭示了部分弱验证器存在按选项列表位置而非视频内容选择的失败模式。代码已开源。

    推荐理由:文章分离了验证器在 Best-of-N 流程中的选择增量与自身解题能力,揭示了弱验证器依赖候选答案而强验证器超越多数投票的规律。

  15. arXiv · 机器人与计算机视觉78

    直线并非相机位姿:对短片段位姿基准的审计

    Xinyi Shi 在 arXiv 发布论文,指出绝对轨迹误差(ATE)作为相机运动标准指标的局限性。研究发现,在恒定速度假设下,简单将预测轨迹拉直反而能降低 ATE 得分,且该指标忽略相机朝向导致几何评估失真。作者提出一种修正后的位姿锚定 ATE 方案,能更准确地追踪重投影误差并区分不同模型性能。代码、预测结果与数据将在后续发布。

    推荐理由:该研究指出绝对轨迹误差指标存在缺陷,提出一种修正方案以更好评估几何精度。

  16. arXiv · 机器人与计算机视觉78

    Spoofing the Latent State:不可察觉的目标图像攻击破坏 LeWorldModel 的规划能力

    该论文研究了联合嵌入预测架构(JEPAs)在 LeWorldModel 中的测试时间鲁棒性。分析发现,物体状态主导了潜在距离,但编码器无法轻易隔离或重定向这种几何结构。实验表明,仅对单帧输入施加极小的白盒扰动即可让编码器将物体姿态记录为攻击者任意选择的状态,导致 Push-T 等任务的规划成功率从 87% 骤降至 32%,且该漏洞在四个标准基准测试中均存在。

    推荐理由:该研究揭示了 LeWorldModel 在测试时对微小图像扰动的脆弱性,攻击可诱导规划器将物体状态误判为任意姿态,导致任务成功率大幅下降。

  17. arXiv · 机器人与计算机视觉78

    TAP-Out:通过外推技术实现任意点的 360°跟踪

    论文提出了 TAP-Out 方法,这是一种离线算法,利用生成式视频外推作为世界模型先验来解决目标离开相机视场后的跟踪问题。该方法将窄视场输入视频外推为完整的 360°全景视频,通过视频对象分割定位目标,并合成以物体为中心的视角裁剪供标准帧内跟踪器运行。

    推荐理由:该工作提出利用生成式外推构建世界模型先验,在 TAPVid360 基准上实现离屏目标跟踪的最优性能。

  18. arXiv · 机器人与计算机视觉78

    SPARK:基于物理重观察的自纠正具身记忆

    针对现有具身检索增强生成(RAG)系统易累积语义标签、物体位置及空间关系错误的局限,论文提出 SPARK 框架。该框架在首个任务集后利用语义批评标记知识库错误区域,通过规划器生成针对性重访,并基于新观察结果选择性合并信息以修正记忆。

    推荐理由:提出 SPARK 框架,通过语义批评与目标重访修正具身记忆错误,在 AirSim 仿真环境中显著降低存储开销并提升问答性能。

  19. arXiv · 机器人与计算机视觉78

    Déjà Vu:基于循环一致性的语义对应重排序方法

    arXiv 预印本发布了一种名为 Déjà Vu 的测试时解码模块,旨在提升跨图像语义关键点匹配的精度。该方法将匹配问题重构为‘先召回后重排序’流程,利用大模型特征中零样本能力优于贪心选择的特性,通过自适应候选集和循环一致性评分进行优化。实验显示其在 SPair-71k 等基准上显著提升了 [email protected] 与 Keypoint Average Precision 指标。

    推荐理由:提出测试时重排序模块,利用循环一致性解决语义匹配解码瓶颈。