跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

精选归档 · 第 20 页

10月28日周三第 381–400 条
  1. arXiv · 机器人与计算机视觉82

    RynnWorld-Latent:一种基于通用潜在动作的跨具身世界模型

    论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。

    推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。

  2. arXiv · 机器人与计算机视觉82

    基于连续图像的四足机器人相机到姿态估计方法

    针对灾难响应等危险环境中四足机器人的外部监控需求,作者提出了QuadPose模型和首个四足机器人姿态基准QuadSyn。该研究解决了四足机器人关节变化、自遮挡及缺乏公开基准的挑战。在QuadSyn上,QuadPose实现了92.18%的[email protected]和3.65度的平均关节角度误差等指标,支持约33 FPS的处理速度。材料为arXiv预印本,未提及同行评审状态或真实部署结果。

    推荐理由:提出QuadPose模型与首个四足机器人姿态基准QuadSyn,在单目视频序列上实现高精度全身姿态估计。

  3. arXiv · 机器人与计算机视觉85

    E0.5:面向机器人世界 - 动作建模的从重建到未来预测的 3D 基础模型

    该论文提出 E0.5,这是一个以 3D 几何为原生基础的机器人世界 - 动作(WAM)模型,将 3D 几何作为世界建模与动作预测的核心表示。E0.5 在 RoboTwin 2.0 基准上无需具身数据预训练即可达到 89.90%(干净设置)和 50.09%(随机化设置)的成功率,并显式联合预测未来 3D 状态与动作。

    推荐理由:该工作提出以 3D 几何为原生基础的 E0.5 模型,在 RoboTwin 2.0 上实现高成功率,并通过具身预训练显著提升真实机器人操作表现。

  4. Hugging Face Daily Papers78

    iPrefBench:面向个性化移动使用代理的用户中心基准

    iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。

    推荐理由:该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。

10月27日周二
  1. 上海人工智能实验室 · 科研动态75

    上海AI实验室推出通专融合智能体书生-A1.5

    上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。

    推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。

  2. arXiv · 机器人与计算机视觉82

    FermatSyn:基于 SAM2 增强的各向同性螺旋扫描多模态医学图像合成方法

    论文提出 FermatSyn,通过冻结的 SAM2 Vision Transformer 注入解剖学先验,结合分层残差下采样模块与跨尺度融合网络保留高频病变细节。

    推荐理由:提出 FermatSyn,利用 SAM2 先验与双向 Mamba 架构解决多模态医学图像合成中的全局一致性与局部细节冲突问题。

  3. arXiv · 机器人与计算机视觉78

    FOCUS:从基础视觉编码器到多模态大模型的视网膜模型泛化性评测基准

    FOCUS(Foundation Ophthalmic Cross-Dataset Understanding under Shift)是一个跨数据集评测基准,旨在解决单一数据集报告无法反映模型在数据分布偏移、临床定义差异及患者亚组间表现的问题。

    推荐理由:FOCUS 基准统一评估了十种数据集上从纯视觉编码器到多模态大模型在视网膜影像分析中的泛化能力与校准表现。

  4. arXiv · 机器人与计算机视觉82

    VLN on the Fly:一种用于空中机器人的车载视觉语言导航栈

    VLN on the Fly 是一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,将指令落地、三维规划与控制作为可检查的独立阶段。该栈利用量化 VLM 进行粗粒度图像单元定位,通过深度估计提升为三维目标,使用快速 B-样条规划器生成可行轨迹,并由预训练的强化学习策略跟踪至电机指令。

    推荐理由:该预印本提出了一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,实现了指令落地、三维规划与闭环控制的分阶段执行。

  5. arXiv · 机器人与计算机视觉78

    X-WBC:一种面向人形全身控制的跨躯体基础模型

    针对现有方法每款机器人单独训练导致运动经验隔离的问题,该研究提出 X-WBC 框架,将相对共享的人体运动语义与本体特定的物理执行分离。通过人体中心指令 token 对齐全量人体运动、机器人参考运动及稀疏 VR 观测,利用因果 Transformer 从混合多机器人 rollout 中学习可复用时间结构,并通过轻量级本体特定模块映射到各机器人的本体感知与动作空间。

    推荐理由:该工作提出跨躯体基础框架,通过解耦共享语义与本体执行实现多机器人联合训练,为具身智能通用部署提供新路径。

  6. arXiv · 机器人与计算机视觉80

    Hi-Token:用于生成式视觉定位的分层坐标分词方法

    论文提出 Hi-Token 显式编码坐标轴与位值,用 12 个 token 表示边界框;配合 Hi-GAR 几何奖励优化策略梯度。实验显示该方法在 RefCOCO 等基准上优于原子 token 基线及强专家长模型,且仅用于训练阶段。材料为 arXiv 预印本,未提及同行评审或正式部署状态。

    推荐理由:该预印本提出 Hi-Token 坐标编码与 Hi-GAR 奖励机制,在三个 VLM 主干上提升生成式视觉定位效果。

  7. arXiv · 机器人与计算机视觉82

    拥挤操作任务中检测器置信度仅表示存在而非被遮挡

    论文指出开放词汇检测器的置信度分数在物体被严重遮挡时依然保持高位,该信号反映的是类别存在于场景中而非目标可见。研究对比了基于几何的真相真值,发现固定视角下检测器对 90% 的遮挡场景仍报告存在,而单次相机运动即可解决所有遮挡场景的定位问题。作者发布了基准并建议采用以目标为基准的信号来评估和门控机器人感知系统。

    推荐理由:该研究揭示了目标检测置信度在遮挡场景下反映的是类别存在而非可见性,并提供了基准与几何真值用于重新评估机器人感知策略。

  8. arXiv · 机器人与计算机视觉82

    FlatVPR:一种用于基础模型特征流形几何校正的即插即用线性残差适配器

    论文提出了 FlatVPR 范式,旨在平衡地图轻量化与定位精度。该方法通过引入可学习的残差变换和基于拉回平坦性的损失函数,抑制基础模型(如 DINOv2)特征空间中的显著曲率,使特征流形近似线性化。实验在 NCLT 数据集上验证了该方法在极端稀疏锚点间隔和季节变化下的有效性。

    推荐理由:提出 FlatVPR 方法,通过几何校正适配器解决基础模型特征流形曲率问题,在稀疏锚点条件下显著提升视觉定位性能。

  9. arXiv · 机器人与计算机视觉78

    VGGT-Ω:一种高效高质的静态与动态场景重建模型

    论文介绍 VGGT-Ω,该模型在保持几何感知能力的同时显著提升了重建精度、效率与能力。研究通过简化架构(单头多任务监督)、引入寄存器聚合信息及注册注意力机制,将训练显存占用降至前代的 30%,支持使用比先前工作多 15 倍的监督数据及大量无标签视频数据。

    推荐理由:该文提出 VGGT-Ω,通过架构改进与自监督协议大幅降低显存并提升重建精度,为静态及动态场景提供几何感知特征。

  10. arXiv · 机器人与计算机视觉82

    未知动态环境下的可见性感知移动抓取研究

    针对未知且动态环境中机器人需利用有限视场摄像头接近并抓取目标物体的场景,提出统一系统以运行时强制执行可见性约束。该系统包含速度感知注视策略、分层子目标策略及实时全身规划器。

    推荐理由:提出统一系统,在动态环境中通过视线策略与全身规划器解决可见性约束,相比解耦方案显著提升成功率并降低碰撞。

  11. arXiv · 机器人与计算机视觉82

    面向鲜活世界的创作:基于工具约束的 LLM Agent 用于可执行的多角色场景

    论文提出利用工具约束的 LLM Agent(Director 和 Scene Builder)在仿真引擎中构建可执行的多角色时空事件图,解决了标准流水线无法追踪动态世界状态的问题。实验显示,该框架生成的规范执行率为 80%,且能准确重构原始场景的事件、参与者及顺序,相关成果已获 ECCVW 2026 录用。

    推荐理由:提出工具约束的 LLM Agent 框架,将多角色场景构建为可执行的时空事件图,解决了标准流水线无法追踪动态状态的问题。

  12. arXiv · 机器人与计算机视觉82

    4DSurf:一种无需指定物体数量的高保真动态场景表面重建方法

    论文提出了 4DSurf 框架,利用高斯变形诱导的符号距离函数流正则化约束高斯运动以对齐演化表面,并引入重叠分段划分策略处理大形变。在 Hi4D 和 CMU Panoptic 数据集上,该方法相比最先进方法的 Chamfer distance 分别提升 49% 和 19%,且在稀疏视角下实现了更优的时序一致性。论文已被 CVPR 2026 接收。

    推荐理由:提出基于高斯泼溅的动态场景重建框架,通过流正则化与重叠分段策略解决大形变下的时序一致性问题。

  13. arXiv · 机器人与计算机视觉78

    DeCLIP:一种增强开放词汇稠密感知的通用解耦学习框架

    针对 Vision-Language Models 在稠密视觉感知任务中因局部特征表示受限导致性能不佳的问题,本文提出 DeCLIP 框架。该框架通过解耦 CLIP 的自注意力模块分别获取内容与上下文特征:利用扩散模型的对象完整性线索与基础模型的语义相关性增强上下文特征以改善空间一致性;同时结合图像裁剪表示与区域相关性约束内容特征以提升局部判别力。

    推荐理由:提出 DeCLIP 框架,通过解耦自注意力模块并融合扩散模型与基础模型特征,提升 CLIP 在开放词汇稠密感知任务中的局部判别力与空间一致性。

  14. arXiv · 机器人与计算机视觉82

    为规划而适配:乐观的测试时世界模型适配方法

    论文提出了Optimistic Test-Time Adaptation (OpTTA) 方法,旨在解决潜伏世界模型在测试时冻结导致分布偏移下规划性能下降的问题。

    推荐理由:提出OpTTA方法,通过引入规划目标项优化测试时适应策略,在多项任务中将最终规划成功率平均提升13.5个百分点。

  15. arXiv · 机器人与计算机视觉78

    GaussianSpline:用于高度动态 4D 高斯泼溅的自适应贝塞尔样条

    arXiv 论文介绍 GaussianSpline,一种利用自适应非均匀分段三次贝塞尔样条建模每个高斯运动的方法。该方法联合学习控制点与时间分区,在保持近静态区域轨迹紧凑的同时为高度动态区域分配更多时间容量,并通过反射约束确保段间 G1 连续性以维持全局平滑与可微性。实验表明其在 Neural 3D Video、Google Immersive 及合成场景上显著提升了非均匀动态下的重建质量。

    推荐理由:提出自适应非均匀贝塞尔样条方法,在动态场景下提升高斯泼溅重建质量。

  16. arXiv · 机器人与计算机视觉78

    视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

    针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

    推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。