跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

精选归档 · 第 34 页

10月12日周一第 661–680 条
  1. arXiv · 机器人与计算机视觉78

    SpatialASM:将主动心智化内化为空间推理能力

    论文介绍 SpatialASM 框架,旨在解决大视觉语言模型(LVLM)缺乏主动从相关视角重构空间布局的能力。该方法利用离心新颖视图生成器锚定假设视角,提供显式的 ASM 轨迹监督以教导模型何时及如何进行视图规划与想象,并构建自动化的观点采择任务强化场景想象。

    推荐理由:提出 SpatialASM 框架,通过训练时注入主动视角规划与场景想象监督,提升 LVLMs 在复杂空间推理任务上的准确率。

  2. arXiv · 机器人与计算机视觉78

    SimVTA:基于仿真的视频 - 轨迹对齐用于驾驶世界动作模型

    针对驾驶世界动作模型(WAMs)在强化学习后训练阶段缺乏替代轨迹视觉监督的问题,本文提出 SimVTA 框架。该方法结合轨迹优化与视频监督,利用真实世界模拟器渲染高奖励候选轨迹的未来视频,并在有限渲染预算下优先处理高误差未来以更新共享表征。

    推荐理由:提出 SimVTA 框架,利用仿真生成视频监督以解决驾驶世界动作模型的轨迹规划问题。

  3. arXiv · 机器人与计算机视觉78

    地理空间基础模型嵌入中的捷径学习与跨灾害损害评估

    该研究针对地理空间基础模型在熟悉灾害上高准确率可能掩盖捷径学习的问题,利用 TerraMind、Prithvi-EO-2.0 等模型在 xView2 和 BRIGHT 数据集上进行测试。

    推荐理由:研究揭示地理空间基础模型在跨灾害评估中存在捷径学习风险,提出特征变换方法可提升泛化能力。

  4. arXiv · 机器人与计算机视觉78

    GLIMPSE:用于可探索视频世界模型的全球 - 局部索引与多精度频谱编码

    arXiv 论文 GLIMPSE 提出一种带多精度坐标和几何条件谱衰减的全局 - 局部记忆接口,以解决相机回看场景时因深度或姿态误差导致的鬼影问题。该方法通过位置传输避免重采样,利用局部块记忆提供视图特定外观,用循环全局记忆提供场景上下文,并在匹配检索与读取预算下提升了几何对应和光度一致性。材料为预印本,未报告真实机器人部署结果。

    推荐理由:提出带多精度坐标与几何条件谱衰减的全局 - 局部记忆接口,旨在降低相机回看场景时的鬼影误差。

  5. arXiv · 机器人与计算机视觉78

    ELMA:用于长期文本到动作生成的指代性组合基准

    本文介绍 ELMA,一个具有密集分段注释的长期动作生成数据集,旨在解决现有模型难以处理涉及指代关系的跨段约束问题。研究团队通过全自动管道从网络视频中提取高质量连续 30 秒片段,并微调了最先进的动作生成模型以融入长程上下文。

    推荐理由:ELMA 数据集与基准揭示了现有模型在处理长程指代性指令时的不足,为长期动作生成提供了新的评估标准。

  6. arXiv · 机器人与计算机视觉78

    对现有 VLM 基准评估运行的审计:揭示图像依赖度不足与评分偏差

    该研究提出一种审计框架,复用 VLM 评估运行中已生成的预测、正确性及元数据工件,通过 VLMEvalKit 新增的六个检测器及纯文本重跑层进行后处理分析。在 MMStar 基准上发现,20.2%的问题无需图像即可达到零准确率增益,其中数学与科学类别存在显著偏差;另有 134 个问题因所有模型均选择同一非标准答案而引发评分争议。

    推荐理由:作者利用现有评估运行产生的原始工件,为 VLMEvalKit 新增审计层以检测基准缺陷与评分偏差。

  7. arXiv · 机器人与计算机视觉83

    高效置信度感知稠密化用于 3DGS

    arXiv 发布了一篇关于 3D Gaussian Splatting 改进方法的研究论文。该方法在固定预算的 MCMC 框架下,通过误差驱动而非不透明度采样实现更优重建效果。

    推荐理由:该方法在固定预算的 MCMC 框架下,通过误差驱动而非不透明度采样实现更优重建效果。

  8. arXiv · 机器人与计算机视觉78

    ManeuverFlow:基于未来证据的机动假设生成与端到端自动驾驶轨迹评估及优化

    ManeuverFlow 是一种用于复杂场景端到端规划的新方法,旨在解决多查询回归模式坍塌及候选集规模受限的问题。该方法通过混合专家 MeanFlow 场一步生成不同意图的轨迹,并利用世界模型预测的当前与未来特征聚合为路径证据,进而预测 PDM 因子并优化局部 Frenet 残差以筛选最佳候选。

    推荐理由:该文提出 ManeuverFlow,利用世界模型预测的未来证据对轨迹进行生成与精细化评估,在 NAVSIM 和 WorldEngine 基准上取得领先分数。

  9. arXiv · 机器人与计算机视觉78

    VideoAWR:通过解耦时间步优势加权校正强化视频流模型

    该论文针对基于回归的 RL 在流模型中面临的冷启动病理与几何引导爆炸问题,提出 VideoAWR 方法。该方法通过将采样与优化锚点解耦,利用 EMA 参考策略生成引导式 rollout 恢复奖励可分性,同时训练策略对无引导条件锚点进行校正。

    推荐理由:提出 VideoAWR 方法解决视频流模型优化中的冷启动问题,实现单分支推理且保留 CFG 语义。

  10. arXiv · 机器人与计算机视觉78

    NovaSplat:基于 3D Gaussian Splatting 的无模型 6D 物体位姿估计

    arXiv 论文 NovaSplat 提出一种无需 CAD 模型的 6D 位姿估计流程,通过手机视频训练 3DGS 作为检测与粗估计模板及可微分优化骨干。该方法在家庭物体基准上超越所有基于模型的方法,并在含无纹理和镜面表面的工业基准上优于同类无模型方法且缩小了与基于模型方法的差距。

    推荐理由:该工作提出 NovaSplat,利用手机视频训练 3DGS 实现无 CAD 模型的 6D 位姿估计,在家庭与工业基准上超越现有方法。

  11. arXiv · 机器人与计算机视觉78

    解码寄存器令牌以保留全局场景细节

    该研究调查了在已有完整空间补丁表示的情况下,保留寄存器特征是否能改善图像解码效果。作者使用冻结的编码器与联合自注意力解码器进行实验,发现保留寄存器特征能将基于 DINOv2 和 DINOv3 的重建 FID 分别降低 9.5% 和 5.2%,PSNR 提升至 19.73 dB 和 20.54 dB。在生成任务中,该方法使 DINOv2 的 FID 比仅用补丁的基线低 9.8%。

    推荐理由:研究证明保留非空间寄存器特征能显著降低图像重建误差并提升生成质量,为现有视觉模型利用全局场景信息提供了新路径。

  12. 上海人工智能实验室 · 科研动态72

    上海AI实验室推出决策模型‘书生·明决’,性能超Jev并支持端侧部署

    上海人工智能实验室推出决策模型‘书生·明决’(Intern-Decision),包含0.8B、2B、4B三档参数版本。该模型将原生视觉感知与指令遵循融为一体,在单卡RTX 4090环境下实现每秒约30次决策的响应速度,端到端时延比Jev快2倍以上。

    推荐理由:上海AI实验室推出原生视觉决策模型书生·明决,在端侧推理速度与多模态任务质量上超越Jev等开源基线。

  13. Hugging Face Daily Papers82

    关系学习作为世界建模:TabWM 与 WorldRel 预训练生成器

    论文提出 TabWM(Tabular World Model)和 WorldRel,旨在从观测到的执行中推断系统行为并生成可执行的关系统一世界。TabWM 利用未见世界的执行记录作为上下文,在不更新参数的情况下预测由新动作引起的稀疏结构化编辑。

    推荐理由:提出 TabWM 与 WorldRel,在未见执行下通过上下文推断系统状态变更,支持递归想象未来以优化动作序列。

10月10日周六
  1. Hugging Face Daily Papers83

    ProgAgent:通过程序化训练学习工具编排

    论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。

    推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。

  2. Hugging Face Daily Papers78

    Evolving to Match Capabilities:通过技能适配提升 Harness 自进化能力

    Harness 自进化的效果取决于模型能否遵循其引导,但研究发现强模型的有益技能对弱模型可能有害甚至降低性能。为此,作者提出技能适配方法,利用外部重写器诊断工具执行、上下文管理等失败原因并蒸馏为固定元技能,在不依赖执行证据的情况下将通用技能改写以匹配执行者能力。实验显示该方法在七种不同能力的执行器上均提升了自进化循环的最终得分,为开发更有效的 Harness 自进化提供了设计指导。

    推荐理由:原文发现通用技能对弱模型有害,提出通过元技能诊断失败并适配技能以匹配执行者能力的方法。

10月9日周五
  1. arXiv · 机器人与计算机视觉76

    UNITAS:首个原生 3D 的具身操作世界动作模型

    UNITAS 是首个将观测、动作和场景动力学统一在共享度量 3D 框架内的世界动作模型,使用 3D 点轨迹表示手部和夹爪动作,并以物理时间锚定 token。

    推荐理由:UNITAS 提出首个原生 3D 的世界动作模型,统一观测、动作与场景动力学,在 RoboTwin 仿真与真实任务中均取得最优表现。

  2. arXiv · 机器人与计算机视觉83

    OmniHOI:基于单目视频的灵巧手物交互研究

    论文介绍 OmniHOI 流程,旨在从单目 RGB 视频中重建手物交互的忠实轨迹并迁移至灵巧机械手。该方法在各阶段利用图像证据、接触几何和动力学约束物理一致性,直接优化对应表示以修正误差。

    推荐理由:该工作提出 OmniHOI 流程,利用单目视频重建手物交互轨迹并转移至多自由度机械手,在仿真与真实机器人上均优于现有方法。

  3. arXiv · 机器人与计算机视觉87

    NavGPT-3:利用上下文构建分层导航运行时

    论文介绍 NavGPT-3,这是一个连接高层语言模型推理与底层物理控制策略的运行时系统。其核心包含基于长视界强化学习的语言模型(NavGPT VLA)和 OS 类调度器,支持线程化运行、工具调用及中断切换以应对突发环境变化。

    推荐理由:该工作提出 NavGPT-3 运行时架构,通过分层调度连接语言推理与低延迟动作策略,首次实现自主体在导航任务中达到人类水平表现。

  4. arXiv · 机器人与计算机视觉85

    SLVR:基于类人推理流的结构化潜变量视觉推理

    论文提出 SLVR 框架,旨在解决多模态大模型过度依赖语言先验的问题。该方法将显式思维链与潜变量推理结合,通过掩码答案文本并对比视觉干扰项进行训练,随后对规划、定位、证据选择和整合四个阶段分别施加监督信号。基于 Qwen2.5-VL-7B 的 SLVR 在 MMVP 和 BLINK Relation 等基准上取得显著提升,证明了结构化潜变量监督能在避免推理开销的同时增强细粒度视觉推理能力。

    推荐理由:提出 SLVR 框架,通过结构化潜变量监督实现规划、定位与证据选择分离,在 Qwen2.5-VL-7B 上提升多模态推理基准表现。

  5. Hugging Face Daily Papers83

    面向物理驱动的连杆式 3D 资产生成:多智能体流水线与基准

    本文提出 Artisan 系统,通过引入多智能体流水线与物理仿真反馈,将 3D 资产生成的目标从外观复现转向运动与功能捕捉,支持无碰撞运动、重力下稳定性及准确的质材属性。

    推荐理由:提出 Artisan 系统与基准,在保持空间保真度的同时实现最低碰撞率与最高稳定性。