跳到正文
11月11日周三
  1. arXiv · 机器人与计算机视觉82

    基于多视图关系蒸馏的视觉 - 语言模型空间推理研究

    针对视觉 - 语言模型在具身智能和自动驾驶中存在的几何脆弱性问题,本文提出多视图关系蒸馏方法。该方法通过蒸馏跨视图的 patch-wise 余弦相似度而非教师特征本身,在编码几何对应关系的同时保留预训练对齐。实验表明,该方法在物体定位、密集描述等任务上优于监督微调与特征蒸馏,且参数更少、延迟更低。代码已开源。

    推荐理由:提出多视图关系蒸馏方法,在提升视觉空间推理能力的同时保持语言对齐,且参数开销低于特征融合。

  2. arXiv · 机器人与计算机视觉55

    大视觉语言模型中的认知专家混合架构

    该论文针对大视觉语言模型(LVLM)在跨认知层级任务中推理一致性的挑战,提出一种基于 Bloom 分类学的多模态推理框架。方法首先利用专用计算机视觉模型作为感知子系统处理对象检测与空间布局等任务,随后通过两阶段认知言语化生成原子证据摘要并转化为分步推理轨迹,最后由轻量级模块量化分析以明确证据使用路径。

  3. arXiv · 机器人与计算机视觉33

    CD-RCM:反射共焦显微镜的通用连续深度新视角合成方法

    CD-RCM 是首个针对反射共焦显微镜(RCM)的新型视角合成(NVS)方法,通过插值稀疏采集的 Z 堆栈实现各向同性三维可视化。该前馈模型在无需患者优化前提下,支持任意方向切片及类组织病理学横截面检查,推理耗时低于秒级。实验表明该方法能生成高保真新视角图像,解决了传统神经渲染无法处理 RCM 轴向成像几何与遮挡物理的问题。

  4. arXiv · 机器人与计算机视觉68

    Video-Mirai:自回归视频扩散模型需要前瞻性

    论文提出 Video-Mirai 方法,旨在解决因果视频生成中因仅依赖过去信息导致的表示层规划缺口。该方法在训练阶段引入冻结的前瞻性编码器读取完整 rollout 结果,将未来帧作为监督目标蒸馏至当前状态,而推理时丢弃辅助模块以保持原有架构不变。实验显示,该方法在 VBench 总分上从 83.8 提升至 84.6,并在长序列生成中显著改善了主体与背景的一致性。

  5. arXiv · 机器人与计算机视觉82

    SSR:迈向开放世界的稳健与人称对称人形机器人穿越框架

    论文提出 SSR 框架,旨在解决人形机器人在非结构化地形上的安全高效移动难题。该方法通过自监督学习结合想象落脚点引导,预测摆动脚接触点并评估支撑稳定性以减少滑倒;同时利用等变潜在空间对称性增强实现高维视觉下的双侧协调,并结合特定地形的多判别器运动先验鼓励类人行为。实验表明 SSR 在楼梯、宽缝隙和高台等极端挑战下均能实现安全稳定的长时程穿越。

    推荐理由:提出端到端框架 SSR,利用想象落脚点引导与对称性增强实现人形机器人在复杂地形的稳定行走。

  6. arXiv · 机器人与计算机视觉78

    MAPLE:基于潜在空间的端到端自动驾驶多智能体博弈框架

    论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。

    推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。

  7. arXiv · 机器人与计算机视觉82

    Generative Scenario Rollouts for End-to-End Autonomous Driving

    论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。

    推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。

  8. arXiv · 机器人与计算机视觉72

    基于确定性世界模型的视觉系统动作引导可达性分析

    针对端到端视觉控制器的闭环行为难以验证问题,本文提出确定性世界模型(DWM)和动作引导分区验证方案。DWM 仅从物理状态生成图像,无需潜在变量解码器;结合动作引导的分区策略,在固定计算预算下显著降低未知区域比例。实验显示该方法比 cGAN 代理更准确,鲁棒性区间收窄 1.9 至 69 倍。

  9. arXiv · 机器人与计算机视觉72

    预测潜在风险:面向自动驾驶的视觉语言推理研究

    现有自动驾驶数据缺乏对风险前兆与应对措施的关联标注。本文介绍 PotentialRiskQA 数据集,提供场景证据、潜在风险及缓解动作的结构化注释;基于此训练 PR-Reasoner 模型,通过多任务监督提升场景理解、风险认知与行动质量,减少无依据的风险推断。消融实验表明中间推理步骤的监督进一步降低错误推断并改善行动质量;在 NAVSIM 上的表征学习提升了开环规划性能。

  10. arXiv · 机器人与计算机视觉68

    3D-Guided Scalable Flow Matching for Generating Volumetric Tissue Spatial Transcriptomics from Serial Histology

    论文介绍 HoloTea,一种基于流匹配的三维感知框架,用于从连续组织切片和 H&E 图像推断未检测切片的基因表达。方法利用相邻切片的注册位置信息通过轻量 ControlNet 提供跨切片上下文,确保预测沿解剖结构连续;采用学习到的零膨胀负二项分布先验处理计数数据的离散性;引入全局注意力块以线性成本整合全片上下文。

  11. arXiv · 机器人与计算机视觉28

    HaiRuo:基于卫星测高基础模型的海洋涡旋场与对象联合预报

    HaiRuo 模型从 30 天卫星海平面图中单次前向传播,同时输出 15 天海平面、地转流速及每日涡旋掩膜与轨迹。其核心组件 HaiRuo-1B 为无标签预训练的 10.5 亿参数基础模型,在相同解码器下将 15 天中心误差从 30.6 km 降至 25.2 km(-18%),并在厄尔尼诺 - 南方涛动周期内保持优势。开源权重、代码与项目页面已公开,支持跨六个骨干网络的物体注意力机制优化。

  12. arXiv · 机器人与计算机视觉58

    振荡处理单元:一种用于生物仿生智能的计算基底

    Alexander A. Wolf 在 arXiv 发布预印本论文,引入振荡处理单元(OPUs)概念,即共享节律的合成神经元组。该架构通过定向交互将输入活动与先验状态转化为振荡占用空间(OOS),支持逻辑数值运算、联想回忆及固定权重下的闭环决策。研究建立了测量关系图谱以支持响应类预测,旨在为生物仿生智能提供经验保留于状态中的计算基底。

  13. arXiv · 机器人与计算机视觉70

    GenEA:一种理解具身计划的可计算框架

    论文提出了 GenEA,这是一种新型智能体表示法,旨在基于动作推理人们的计划和目标。该框架的核心是一个多层状态空间,将关节身体的粗粒度生物力学与其与附近物体的相互作用耦合起来,通过扩展机器人领域的任务 - 运动规划框架并引入基于仿真的直觉物理来实现。

  14. arXiv · 机器人与计算机视觉83

    迈向可靠的 VLM 裁判:状态条件不变性与呈现感知诊断

    论文提出状态条件不变性(SCI)原则,要求视觉语言模型在保持语义不变的呈现变化下保持稳定,同时能响应改变任务结果的因果干预。作者构建了 GridWM-Judge 基准,利用确定性 MiniGrid 轨迹生成全量、证据移除及反事实变体,结合呈现与表征探测进行诊断评估。

    推荐理由:提出状态条件不变性原则,构建基于确定性轨迹的仿真基准以诊断多模态模型作为裁判时的感知与因果敏感性。

  15. arXiv · 机器人与计算机视觉78

    一种解释早期视觉皮层动态的视觉分割概率模型

    该研究提出一种生物学合理的概率模型,假设特征推断与组织成有意义部分的推断(即分割)相互耦合。模型通过递推和反馈在自然图像输入下迭代推断特征与分割,诱导神经表征中的动态变化。

    推荐理由:提出概率模型解释早期视觉皮层动态,预测增益与变异性衰减,为迭代计算推理成本提供理论视角。

  16. arXiv · 机器人与计算机视觉45

    EarthRecord:多模态智能体跨越四十年卫星影像进行土地变化分析的基准评测

    EarthRecord 基准基于 56 个站点四十年的 Landsat、MODIS、VIIRS 和 Sentinel-2 原始数据,提出 238 个涵盖十类任务的土地变化问题。评估显示十二个多模态智能体虽能完成端到端分析,但在需从影像映射变化时表现不佳;当单一卫星数据被篡改且地面实况不变时,半数正确答案随之改变。该基准旨在衡量并推动智能体从像素理解到真实地表变化的能力演进。

  17. arXiv · 机器人与计算机视觉16

    Large-area Spatially Aligned Anchors 解决 XR 大范围空间追踪漂移问题

    该方法利用外部无漂移追踪作为真值,在准备阶段同步采集头显与外部的三维锚点以建立对应关系。运行阶段通过云配准对齐两种追踪方法,结合头显内置能力实现独立功能并扩展精准追踪范围。实证评估显示系统能有效对齐虚拟内容与现实世界,适用于制造、建筑及教育娱乐等场景。

  18. arXiv · 机器人与计算机视觉72

    TanCRAFT:面向组装任务的语境推理与前瞻性反馈

    论文提出了 TanCRAFT 框架,这是一个四阶段的实时预测性辅助系统,旨在通过跟踪场景状态、推理当前部分组装情况、预测被操作部件的近期运动并在预测放置不兼容目标时进行干预,来防止物理组装中的人类错误。研究在受控的七巧板(Tangram)组装任务上进行了离线基准测试和受试者内用户实验,结果显示该系统的预测反馈相比无引导和反应式会话显著减少了错误,同时带来了最低的感知工作负荷和最短的完成时间。

  19. arXiv · 机器人与计算机视觉66

    OnlyAct:从基础模型提取动作表示以构建世界模型

    针对视频世界模型训练中动作监督稀缺且难以扩展的问题,本文提出 OnlyAct 方法。该方法不从头学习动作空间,而是利用预训练基础模型(V-JEPA)帧对嵌入中已包含的动作信息,通过无标签对比适应框架在保留场景不变性的同时提取动作表示。研究在机器人操作、相机导航、游戏和驾驶等基准上进行了统一评估,结果显示其生成的世界模型能将演示动作更忠实地迁移到新场景中。

  20. arXiv · 机器人与计算机视觉58

    基于高斯过程增强的六自由度 AUV 模型预测轮廓控制研究

    针对小型全向水下机器人(AUV)在水下难以获取精确动力学模型的难题,本文提出一种非线性六自由度模型预测轮廓控制(MPCC)方法,通过高斯过程回归学习残差动力学并嵌入零阶鲁棒优化方案中,使控制器在 25 Hz 保持实时性。仿真消融实验表明残差选择至关重要,基于 MOLA AUV 的水下实验验证了该方法相比名义 MPCC 和工业界常用的 PID 控制器具有更优的轨迹跟踪性能。

  21. arXiv · 机器人与计算机视觉83

    从视频帧到机器人元帧:面向世界动作模型的统一潜在接口

    该研究针对世界动作模型(WAMs)需注入低维机器人信号的难题,提出 MetaWAM 方法,将姿态、动作等信号折叠进单一频域通道并通过逆 DCT 提升,无需增加模块即可对齐预训练视频扩散模型的先验。在 RoboCasa 基准上成功率达 68.9%,推理延迟降低 39%;在三项真实 Franka 任务中成功率为 85.0%。代码与模型已公开。

    推荐理由:提出 MetaWAM 统一接口,将机器人信号折叠进单一频域通道,无需额外模块即可对齐预训练视频扩散模型的先验分布。

  22. arXiv · 机器人与计算机视觉57

    ForeseeDrive:面向预期性生成驾驶的 Future-Token Conditioning 方法

    论文 ForeseeDrive 提出将未来场景演化转化为可部署的接口以塑造候选轨迹生成,而非重建密集状态或评分固定菜单。该方法从日志中提取查询索引 Token(涵盖演员运动、占用演变、路线交互及 TTC 裕度),并在部署时基于当前上下文预测同一 Token 空间以条件化轨迹几何。

  23. arXiv · 机器人与计算机视觉78

    Elastic-WAM:自适应时空想象用于高效机器人控制

    该论文针对世界动作模型(World-Action Models)迭代视频去噪带来的高推理开销问题,提出 Elastic-WAM 方法。该方法通过自适应分配时空细化计算资源,统一调控何时停止世界细化、每步推进多远以及刷新哪些区域。研究在多样化仿真基准和真实长程操作任务中评估,结果显示其兼具最先进的控制性能与更低的推理延迟。材料为预印本论文,未提及具体开源代码或模型权重下载链接。

    推荐理由:提出弹性计算分配机制,在仿真与真实长程操作中实现控制性能领先且降低推理延迟。

  24. arXiv · 机器人与计算机视觉78

    无模型运行时任务相关信息测量方法

    针对现有系统缺乏对信息收集过程有效性的监测问题,本文提出了 Acquisition-State Telemetry (AST),一种无需训练即可评估信息获取状态的架构。

    推荐理由:提出无模型架构 AST,通过实时监测信息获取摩擦与进展信号,帮助自主系统在任务完成前识别无效停滞并优化策略。

  25. arXiv · 机器人与计算机视觉9

    Fieldmark AI 在英国的农场安全应用:基于 PRISMA 的证据综述与持续门控监控主张

    针对英国农场安全证据不足的问题,研究团队于 2026 年 11 月开展 PRISMA 引导综述,发现现有数据缺乏对摄像头、传感器及门控状态的独立评估。基于此缺口,文章推断 Fieldmark AI 实施的持续门级监控能生成官方缺失的时间戳记录并验证事件责任,但尚无研究证明其可减少损失。

  26. arXiv · 机器人与计算机视觉38

    基于开放词汇三维场景图的海域持久记忆研究

    针对现有三维场景图方法主要面向室内和陆地环境的局限,本研究提出一种将户外开放词汇地图适配为海域持久场景记忆的方法。该方法通过几何基础的视觉语言模型(VLM)推理整合碎片化物理实体,并结合地图先验构建宏观区域以支持跨次穿越的固定地点对应关系及上下文检索。实验表明,该方案在减少实体碎片化方面优于基线及单独的几何语义整合组件,有效解决了海域空间组织需求未被陆地高层假设捕捉的问题。

  27. arXiv · 机器人与计算机视觉74

    RiSE-Drive:端到端自动驾驶的风险敏感长视界候选评估

    针对端到端自动驾驶中候选轨迹评估难以捕捉延迟失败和尾部风险的挑战,本文提出 RiSE-Drive 框架。该方法先进行条件潜变量未来展开,再估计长视界结果分布而非单一标量分数,最后利用感知尾部风险且对扰动鲁棒的决策准则对候选项排序。在 NAVSIM-v1、NAVSIM-v2 及闭环 HUGSIM 基准上的实验表明,RiSE-Drive 实现了最先进性能并显著提升了候选选择的鲁棒性。

  28. arXiv · 机器人与计算机视觉78

    DisasterAgent:一种基于证据的代理,用于从遥感影像生成可验证的灾害报告

    针对遥感灾害评估需可验证证据的挑战,论文提出 DisasterAgent,采用感知 - 增强 - 生成的工作流。该方法首先调用视觉专家工具包构建时空感知图(STPG)作为结构化记忆,随后通过基于证据的增强(EA)从图中提取证据并附加内联引用,形成闭环验证。

    推荐理由:提出 DisasterAgent,通过时空感知图与证据增强机制生成可验证灾害报告,在基准测试中显著优于通用 VLM 及遥感专用模型。

  29. arXiv · 机器人与计算机视觉62

    基于驾驶室视角视觉控制融合的自主挖掘机联合状态推断

    针对现有挖掘机加装专用传感器成本高、维护难的问题,本文提出一种利用车载视觉观测与控制时序信息的闭环自主挖掘框架。该方法编码驾驶室视角图像的结构线索,建模历史摇杆指令的短期运动趋势,并为铲斗关节引入滚动状态缓冲区以在严重遮挡下保持时间连续性;同时将机械关节范围约束纳入学习目标以抑制不可行估计。

  30. arXiv · 机器人与计算机视觉72

    FlashMotion:超快速长周期三维动作生成框架

    FlashMotion 是一个针对严格推理预算下的高质量长周期三维动作生成的协同设计框架,涵盖文生动作、音律舞蹈和语音手势任务。该方法通过引入带运动学与动力学一致性约束的三维动作空间 MeanFlow 公式实现少步生成,并采用自适应软掩码机制保证时序连贯;同时设计了轻量级非自回归 BiMamba 架构以优化单步效率。实验表明其在质量与效率上均达到最先进水平。代码已开源。

  31. arXiv · 机器人与计算机视觉78

    GEMOR-GS:一种用于 3D 高斯泼溅 SLAM 的全局外参校准优化映射与在线重定位方法

    该论文提出 GEMOR-GS 框架,旨在为连续运行的机器人提供逼真且度量一致的 LiDAR-惯性 - 视觉 SLAM 世界表示。该方法首先通过专用校准段利用直接法对齐离线估计相机与激光雷达的外参,并在标定几何下交替优化关键帧位姿与高斯参数;最终重建全局地图时解除所有限制以提升外观质量。

    推荐理由:提出 GEMOR-GS 方法,通过离线外参校准与在线重定位实现高几何精度与可重入性的 3DGS SLAM。

  32. arXiv · 机器人与计算机视觉82

    Route-Time Conflict Maps for Cooperative End-to-End Autonomous Driving

    该研究提出 When2Go 系统,通过共享意图和构建路线时间冲突图来解决协同自动驾驶中的死锁与碰撞风险。系统在 V2Xverse、InterDrive 等基准上取得优于现有方法的驾驶得分与无碰撞率,但仅基于仿真环境测试,未涉及真实车辆部署或路测许可。

    推荐理由:提出共享意图的协同端到端系统,在封闭回路基准上超越现有方法并解决死锁问题。

  33. arXiv · 机器人与计算机视觉43

    Uni-Loc:通过空间 grounded 视觉语言分类实现弱监督 3D CT 病理定位

    Uni-Loc 框架利用扫描级监督统一了病理分类与三维定位,无需额外的体素级标注。在包含 355 个标注 CT 的五项任务中,其宏观平均体素级 AUROC/AUPR 达 96.1%/34.5%,优于相关性传播和梯度显著性基线。该成果证明了在无特定病理体素监督下实现有效三维定位的可行性。

  34. arXiv · 机器人与计算机视觉38

    LLM 可解释性助力月球车在不确定性下规划轨迹

    针对行星漫游器轨迹规划中难以追溯科学目标的问题,研究提出一种基于大语言模型的交互式助手。该系统结合 NASA VIPER 任务启发的仿真器与 ReAct 接口,在查询库测试中回复忠实度达 90.9%,较无工具访问的零样本提示提升近 65%。实验表明该架构能利用领域词汇解释规划结果并对比替代方案,为不确定性感知路径提供可信的可解释性验证。

  35. arXiv · 机器人与计算机视觉63

    Curie's Jarvis:基于打印协议的自主机器人化学实验系统

    该研究提出了 Curie's Jarvis 系统,使机械臂能在为人类设计的普通实验台上执行化学实验。系统通过读取打印协议照片、在无固定位置或标记的台面上识别容器、利用四视角摄像头区分外观相同的容器并读取标签,且在每步操作前重新定位目标。

  36. arXiv · 机器人与计算机视觉53

    将世界模型纳入决策以优化主动传感中的下一最佳视角选择

    论文提出一种部署适配方法论,用于在主动传感中选择贡献新表面测量的视角。该方法通过从有限本地校准数据中学习传感器返回适配器,在保持预训练预测器固定的情况下估计每个预测表面的测量丢失率,从而优先选择能填补重建间隙的视角。