跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

精选归档 · 第 12 页

11月6日周五第 221–240 条
  1. arXiv · 机器人与计算机视觉82

    MetricTrail:利用度量深度与局部优化提升长序列流式三维重建性能

    论文提出了 MetricTrail 系统,用于从长单目视频中实现精确的相机运动估计和稠密三维重建。该方法复用 DPVO 的稀疏局部估计器,通过引入单图度量深度预测来初始化块深度并作为软约束,显著提升了轨迹精度,且无需重训对应网络或扩大优化窗口。

    推荐理由:该工作通过引入单图深度预测与冻结 DINOv3 特征,在不重训对应网络的情况下提升了长序列轨迹估计精度。

  2. arXiv · 机器人与计算机视觉78

    运动学假设上下文:面向带宽受限机器人策略上行链路的具身条件化学习视频编码

    针对远程服务器运行大型视觉语言动作策略时相机上行链路成为瓶颈的问题,本文提出一种零速率条件的运动学假设上下文机制。该方法利用关节状态、机器人模型和相机标定构建自运动单应性、连杆重投影等假设,对上一帧重建结果进行变换以条件化学习视频编码。

    推荐理由:提出运动学假设上下文机制,在带宽受限场景下显著降低视频传输码率并提升策略成功率。

  3. 上海人工智能实验室 · 科研动态75

    上海 AI 实验室推出支持递归式自我改进的科学多模态框架书生·元征

    上海 AI 实验室发布科学多模态框架书生·元征(Sage SciPerception),引入递归式自我改进模式,让模型能自主分析任务表现并提出新的投影模块方案以优化感知架构。

    推荐理由:上海 AI 实验室推出支持递归式自我改进模式的科学多模态框架,赋予大模型自主优化感知架构能力。

  4. Hugging Face Daily Papers78

    SIRIS:LLM 能否判断仿真误差对 AI 驱动系统研究的影响?

    论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。

    推荐理由:该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。

  5. World Labs · Research & Insights72

    Frameboy:Atlas 世界模型的实时交互演示

    World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。

    推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。

11月5日周四
  1. Hugging Face Daily Papers78

    多轮强化学习究竟提升了 LLM Agent 的什么能力?

    该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。

    推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。

  2. arXiv · 机器人与计算机视觉78

    RegimeVGGT:一种基于层级空间冗余去除的视觉几何基础 Transformer

    论文 RegimeVGGT 针对多视图图像恢复稠密三维场景结构的 VGGT 模型,提出无需训练的层级压缩方案以解决二次交叉帧注意力带来的扩展性瓶颈。研究通过频谱、探测和因果分析发现浅层缺乏跨视角结构、中层驱动对齐、深层对几何冗余但保留姿态关键路径的规律。

    推荐理由:该文提出无需训练的层级压缩方法,在保持重建质量的同时将 VGGT 推理速度提升 6.7 倍。

  3. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 Cosmos 交互式世界模拟框架用于物理 AI

    NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。

    推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。

  4. arXiv · 机器人与计算机视觉78

    基于 Filippov 神经网络与熵最优传输的相关性传播:Sinkhorn 传播与图像分类器中的区域相关性

    该论文证明相关性传播是单一变分问题的解,建立了层间相关性传播的测度论形式化框架。研究提出了 LRP_0、LRP_z+ 等规则的统一形式 LRPN_alpha,beta,并引入 Sinkhorn 相关性传播新规则。在 VGG-16 和 ConvNeXt-Tiny 模型上验证了守恒律及不同规则的忠实度与定位能力差异。

    推荐理由:文章将相关性传播形式化为熵最优传输问题,提出基于 Filippov 算子的理论框架及 Sinkhorn 等新规则。

  5. arXiv · 机器人与计算机视觉82

    同一布局不同数量:文生图模型中‘十’以上的数字词失效研究

    该论文研究了五个开源文生图模型(包括 SD3.5-M、FLUX 系列和 Qwen-Image)在生成物体数量超过十个时的表现。实验发现,一旦请求中的物体数量超过约十个,所有模型都会停止遵循具体的数字指令,其生成的图像布局主要由初始噪声的粗粒度部分决定,而非数字词本身。研究还指出,当物体数量超过十时,精确匹配分数难以区分遵循指令与忽略指令的模型,而相对误差评分甚至可能偏好常数猜测值十六。

    推荐理由:研究揭示文生图模型在物体数量超过十时失去计数能力,且噪声布局比数字指令更能决定构图。

  6. arXiv · 机器人与计算机视觉78

    不确定性触发的空中修正用于非道路导航

    该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。

    推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。

  7. arXiv · 机器人与计算机视觉78

    Detecting Silent Action-Interface Mismatch with Calibrated Relational World Models

    Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。

    推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。

  8. arXiv · 机器人与计算机视觉78

    MonoLaDN:语言引导的单目 3D 目标检测去噪框架

    MonoLaDN 是一种针对单目 3D 物体检测的去噪框架,旨在解决仅从图像特征学习几何导致的 ill-posed 问题。该方法在训练阶段利用冻结的视觉语言模型(VLM)生成关于遮挡、深度、尺寸和角度的结构化推理,将其编码为查询并加入噪声,训练检测器重构干净推理以内部化 VLM 的几何先验。

    推荐理由:该工作提出利用冻结 VLM 的几何推理进行去噪训练,使单目检测器内化高层语义先验且无额外延迟。

  9. arXiv · 机器人与计算机视觉83

    TouchéWorld:面向生成式世界的在线统一相机与手部探索技术报告

    TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。

    推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。

  10. arXiv · 机器人与计算机视觉78

    RI-Prune:面向多图像视觉语言模型的感知与信息 aware 视觉 Token 剪枝

    针对大视觉语言模型处理多张输入图像时视觉 Token 预算激增的问题,现有基于注意力的剪枝方法在多图基准上表现不佳且存在位置偏差。本文提出 RI-Prune,这是一种无需训练、不依赖注意力机制的预解码器选择器。

    推荐理由:针对多图像场景下注意力机制失效问题,提出无需训练的 RI-Prune 方法,通过查询相关性与跨图对应关系实现更优的视觉 Token 剪枝。

  11. arXiv · 机器人与计算机视觉78

    CLEAR:面向单图去反光的颜色纹理潜空间对齐方法

    针对透过玻璃拍摄的单图去反光任务,本文提出 CLEAR 框架,利用预训练潜扩散模型作为自然图像先验,并通过物理引导分离器和混合特征对齐模块处理反射干扰。该方法在六个真实世界基准测试中取得了最佳的平均保真度和感知指标,且在所有数据集上实现了最低的 LPIPS 分数。

    推荐理由:提出 CLEAR 框架解决单图去反光难题,在六个真实基准上表现最佳。

  12. arXiv · 机器人与计算机视觉78

    FLINT:通过邻近初始化与有界随机性耦合解决流匹配逆问题

    该论文针对成像逆问题中的流匹配生成后验采样提出 FLINT 框架。现有方法将轨迹空间优化与源空间初始化视为独立设计,而本文证明二者存在内在耦合并推导了统一稳定性界限。FLINT 通过两步法实现:首先利用流形约束的邻近目标函数在少量迭代内建立高保真起点,随后在受限随机性调度下执行引导采样以防止优势被噪声侵蚀。实验显示该方法在多种逆问题中实现了感知质量的最优和计算效率的优越性。

    推荐理由:FLINT 提出将初始化邻近性与采样随机性耦合的新框架,在保持高保真起点的同时通过受限噪声注入提升逆问题求解效率。

  13. arXiv · 机器人与计算机视觉82

    Feature Puzzles:基于单图监督的多视角 3D 感知分割新框架

    论文介绍 Feature Puzzles 框架,利用图像裁剪与几何变换构建多视角一致分割伪标签,结合预训练 3D 基础模型特征实现无需视频或标定数据的单图监督学习。该方法在 NVOS、SPIn-NeRF 和 ScanNet++ 上达到最佳 mIoU 并保持竞争力,同时支持零样本迁移至开放词汇 3D 分割任务。

    推荐理由:提出仅用单图监督即可学习多视角一致分割的新框架,在 NVOS 等基准上表现优异且支持零样本开放词汇扩展。

  14. arXiv · 机器人与计算机视觉78

    基于 JEPA 世界模型的长视界规划:学习到的时间到目标指标

    针对平层联合嵌入预测架构(JEPAs)在长视界规划中时序区分度不足的问题,本文提出一种轻量级时间到目标(Time-to-Goal, T2G)指标。该方法利用离线轨迹中的潜在三元组进行训练,通过边距排序损失显式学习时序顺序,无需奖励或策略标签即可替代欧氏距离作为规划成本。

    推荐理由:该工作提出轻量级时间到目标指标,解决平层世界模型在长时规划中时序区分度不足的问题。

  15. arXiv · 机器人与计算机视觉78

    RACE:一种无需回放的机器人策略检查点选择方法

    针对学习型机器人策略在训练阶段评估困难的问题,论文提出 RACE 指标,利用固定集的成功轨迹校准动作偏差并聚合累积评分,替代昂贵的实机测试。实验表明,该指标在仿真中优于基线且对验证集变化鲁棒,在真机上其检查点排名与部署成功率一致,能有效区分不同偏差对任务成功的影响。

    推荐理由:提出 RACE 指标,利用固定成功轨迹校准动作偏差以替代昂贵实机测试,仿真与真机实验均显示其排名与部署成功率高度一致。