跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

精选归档 · 第 18 页

11月2日周一第 341–360 条
  1. arXiv · 机器人与计算机视觉76

    Coarse3D:面向图像转三维的可控且忠实稀疏结构生成

    论文提出 Coarse3D 模型,旨在从任意非定位图像中生成可控朝向且几何忠实的体素结构,以解决现有方法在方向控制和二维至三维映射上的不足。该模型采用首帧锚定规范空间、双塔 DiT 架构及空间先验引导注意力机制三项设计,能够直接替换现有流程中的粗粒度阶段。实验表明该方法显著提升了稀疏结构质量并持续增强最终三维生成效果,达到当前最先进水平。

    推荐理由:提出 Coarse3D 模型解决稀疏结构生成中的方向控制与几何一致性难题,可替换现有流程的粗粒度阶段。

  2. arXiv · 机器人与计算机视觉82

    MotorSense:首个大规模配对视频与肌电信号的动作理解数据集

    针对计算机视觉模型仅依赖视觉后果而缺乏本体运动信号的问题,该工作提出了 MotorSense,这是首个大规模的双手肌电(EMG)与第一人称视频配对数据集。数据包含 100 小时无脚本操作中的同步视频、双手 EMG、IMU 及音频。

    推荐理由:该工作提出首个大规模配对视频与肌电信号数据集,通过跨模态预训练实现视听对齐,在动作识别等任务上超越传统自监督方法。

  3. arXiv · 机器人与计算机视觉78

    单标注多假设分割:基于语义 - 空间残差银行的方法

    针对单图像仅含一个标注却需覆盖多种有效掩码的挑战,研究提出语义 - 空间残差银行方法。该方法冻结经平衡分配训练的语义特征以保留结构分组,同时学习图像残差以捕捉局部边界与范围变化。在五个医学终点及 BSDS 数据集上验证了其在保持区域分组的同时提升对未见过标注的覆盖能力,并产生更多有用的独立掩码。

    推荐理由:提出语义 - 空间残差银行方法,在单标注约束下提升多假设分割的覆盖度与结构保持能力。

  4. arXiv · 机器人与计算机视觉78

    RADI3N:基于参数化 3D 控制的语义感知图像编辑框架

    arXiv 论文 RADI3N 提出一种针对部分级参数化 3D 控制的图像编辑框架,旨在解决现有扩散模型在几何密集型编辑中难以保持纹理与结构一致的问题。该方法通过 CS-ARAP 变形模块抑制部件边界处的旋转场不连续性,并引入无逆选择性纹理转移机制以消除高频位置偏差,支持跨图像的语义匹配。

    推荐理由:提出 RADI3N 框架,通过 CS-ARAP 变形与无逆纹理转移机制,解决参数化 3D 控制下的几何保真度与语义匹配难题。

  5. arXiv · 机器人与计算机视觉78

    让激光雷达决定看向何处:用于高效稀疏潜在世界模型的几何测量 Token 选择

    针对以视觉为中心的自动驾驶模型冗余编码天空、建筑等无关内容的痛点,提出 Geometry-Aware Token Selection (GATS) 方法。该方法利用 LiDAR 和雷达点投影在视觉骨干网络运行前筛选关键图像区域,使端到端计算量最高降低 18 倍。

    推荐理由:提出基于 LiDAR 几何的 Token 选择方法,在大幅降低计算量的同时提升规划相关场景的预测精度与安全性。

11月1日周日
  1. 量子位87

    清华姚期智团队发布代数世界模型:让AI像牛顿一样思考

    清华大学姚期智和袁洋团队提出「代数世界模型」(AWM),利用范畴论中的投射极限与归纳极限工具,将大模型的试错探索转化为形式化数学证明。在ARC-AGI-3游戏集测试中,基于Opus 5.5的AWM以99.9%得分和43%人类基准动作数全部通关,并能准确判断无解关卡。论文由本科生潘冠成、谭淇心撰写,项目主页与arXiv预印本已公开。

    推荐理由:清华团队提出代数世界模型,利用范畴论工具将试错探索转化为形式化证明,在ARC-AGI-3测试集实现99.9%通关率。

10月31日周六
  1. 智东西 · 机器人80

    大晓机器人联合南洋理工大学发布世界模型 Mundo

    大晓机器人联合南洋理工大学S-Lab发布面向具体环境的世界模型Mundo,具备场景重建、自由视角探索和时空模拟能力。该模型仅需1至12张真实图像即可构建可编辑的三维代理场景,并通过代码定义物体质量与摩擦等物理属性,利用MuJoCo引擎计算运动与碰撞,最终由视频扩散模型渲染出符合物理规律的动态画面。

    推荐理由:大晓机器人联合南洋理工大学发布Mundo,支持少量图像构建含物理属性的可交互三维环境,为机器人Real-to-Sim训练提供新工具。

10月30日周五
  1. arXiv · 机器人与计算机视觉83

    CaC:一种基于层级时空聚焦的视频奖励模型

    论文提出 CaC(Concentrate and Concentrate),这是一种基于视觉语言模型的粗到细粒度异常奖励模型。该模型首先进行全局时间扫描以锚定异常窗口,随后在局部区间内进行精细的空间定位,最后通过结构化的时空思维链推理得出稳健判断。

    推荐理由:提出基于 VLM 的层级时空异常奖励模型 CaC,通过构建首个带细粒度标注的合成视频异常数据集及强化学习训练范式,在基准测试中提升精度并降低生成视频中的异常比例。

  2. arXiv · 机器人与计算机视觉78

    用 JEPAs 证明并改进柏拉图表示假设

    Randall Balestriero 和 Yann LeCun 提出柏拉图表示定理,证明联合嵌入预测架构(JEPAs)在良视条件下学习到的表示收敛于同一空间。

    推荐理由:该工作将多模态对齐猜想转化为定理,证明 JEPAs 在良视条件下收敛于同一表示,并揭示语言模型仅靠规模对齐的机制。

  3. arXiv · 机器人与计算机视觉82

    Fight World Model:支持自定义战斗规则的可视化交互代理世界模型

    Fight World Model 是一种可编程的游戏世界模型,通过将规则驱动的战斗执行与视频渲染分离,利用确定性编译器生成空间时间对齐的交互代理,实现了伤害缩放、免伤机制及角色场景定制等功能。该模型在 FightWorld Corpus 上训练,无需重训渲染器即可支持多种技能机制,并在动作保真度、打击反应一致性和外观保持方面优于现有游戏世界模型。项目代码与资源可通过提供的链接获取。

    推荐理由:该报告提出 Fight World Model,通过分离规则执行与渲染及引入交互代理,解决了现有视频世界模型在战斗状态一致性与可定制性上的不足。

  4. arXiv · 机器人与计算机视觉82

    PhysVLMM:面向机器人场景地图的交互条件化物理信念图

    该论文提出 PhysVLMM 方法,为视觉 - 语言 - 运动地图中的每个铰接部件维护物理信念并回答规划器查询。面对移动物体无法识别动力学、仅凭拉动测量只能确定被拉部件及方向的问题,该方法将方向作为后验分布而非点估计,以闭式形式传递证据给未受影响的相似部件,并在给定风险下判断动作是否成功或放弃。

    推荐理由:PhysVLMM 方法在真实家居环境中实现了对铰接物体动力学的快速推断,显著优于可微仿真与单视角学习基线。

  5. arXiv · 机器人与计算机视觉82

    CrossWeave:基于稀疏 2D-3D 对齐的跨模态场景与实例检索

    论文提出 CrossWeave 框架,旨在通过查询 2D 图像检索对应的 3D 环境或物体,作为机器人空间推理的基础机制。现有方法仅在整体场景或物体层面学习对齐,缺乏细粒度局部结构监督;CrossWeave 证明仅对一组稀疏的 2D-3D 对应关系进行监督即可训练单模型同时完成场景级和实例级检索。

    推荐理由:提出CrossWeave框架,通过稀疏2D-3D对应关系监督实现单模型跨模态检索,在ScanNet和3RScan数据集上超越现有方法。

  6. arXiv · 机器人与计算机视觉82

    连续动作世界模型:学习跨本体时空动力学先验

    arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。

    推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。

  7. arXiv · 机器人与计算机视觉78

    HiFOR:面向视觉语言动作模型的动作引导分层前瞻与世界对齐研究

    该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。

    推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。

  8. arXiv · 机器人与计算机视觉78

    Wizard:通过智能体控制实时操控任意世界

    arXiv 论文介绍 Wizard,一种支持实时、精准控制角色动作并能在未见场景与角色上零样本泛化的智能体游戏世界模型。作者构建了包含 750 个场景和 178 个人物的数据集,利用骨架与几何信息作为结构化代理条件视频生成模型,并结合自适应掩码机制优化对齐。该框架显式维护游戏状态,允许玩家自由配置虚拟世界并精细控制角色动作,同时保持视觉质量与玩法一致性。

    推荐理由:该工作提出 Wizard 框架,通过结构化代理与智能体控制实现角色动作的实时精确操控及跨场景零样本泛化。

  9. arXiv · 机器人与计算机视觉78

    SelfThinker:基于可靠性验证的内生视觉思维的自我进化推理

    SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。

    推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。

  10. arXiv · 机器人与计算机视觉78

    基于二元可行性预言机的安全流匹配机器人策略学习

    针对流基动作生成难以保证关节限位和碰撞避免的问题,本文研究仅通过黑盒可行性预言机访问可行集的设定,提出一种引导的可微分防护机制。该机制在正向传播中利用二元查询修正不安全更新,在反向传播中提取局部边界信息提供约束感知学习信号。

    推荐理由:该文提出一种无需可微分约束模型的引导机制,利用二元可行性查询在训练与推理阶段同时保障物理约束满足。

  11. arXiv · 机器人与计算机视觉78

    Don't Risk It!: Trajectory-Conditioned Distributional Risk for LiDAR-Only Crowd Navigation

    arXiv 论文提出 Don't Risk It Planner (DRIP),这是一个端到端的仅 LiDAR 规划框架,将占用预测与轨迹条件清除及不确定性估计相结合。

    推荐理由:提出仅用 LiDAR 的 DRIP 规划器,通过轨迹条件分布风险评估碰撞概率,在密集人群导航中相比基线减少冻结并提升成功率。

  12. arXiv · 机器人与计算机视觉78

    PET-DINOv2-2D:首个面向 PET 影像的自监督预训练基准与模型发布

    论文提出了 PET-DINOv2-2D,这是首个专门针对 2D PET 影像进行预训练的 DINOv2 模型。研究将其与原始自然图像预训练的 DINOv2 及 OmniRad 等开源编码器进行了对比评测。结果显示,尽管预训练数据量较少,该模型在正常/异常分类、病灶分割和无复发生存预后三项下游任务中均匹配或超越了现有方法,且在标签稀缺场景下优势更为明显。代码已公开。

    推荐理由:该工作发布了首个基于 PET 影像预训练的 DINOv2 模型,在少样本条件下于分类、分割及预后任务上表现优异。