跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉23

    AttentionUNet-CA 模型在印度勒克瑙土地利用变化仿真中表现优于空基线与随机森林基线

    AttentionUNet-CA 利用高程、距主干道距离等四个驱动因子预测土地覆盖状态,在印度勒克瑙 2010-2020 年测试集上,其图优值(21.0%)略高于加权 U-Net CA(22.0%)和随机森林 CA(20.3%),但均不及空模型的整体一致性。研究指出注意力门未提升精度,人口密度与距 CBD 距离为最有用驱动因子,预测至 2030 年建成区将增长 22-35%。

  2. arXiv · 机器人与计算机视觉78

    基于精确局部窗口的可靠条件哈密顿 - 雅可比可达性:子解学习方法

    论文针对传统哈密顿 - 雅可比(HJ)可达性需重求解的缺陷,提出一种条件化可达性模型。该方法通过限制障碍物影响范围使值函数具有局部性,仅需读取机体坐标系下的局部窗口即可训练并迁移至任意规模场景。

    推荐理由:提出条件哈密顿 - 雅可比可达性方法,通过子解学习确保误差保守侧,实现毫秒级场景准备与极低碰撞率。

  3. arXiv · 机器人与计算机视觉78

    SADL:表征坍塌的需求 - 供给几何学分析

    针对联合嵌入预测架构(JEPAs)中编码器表征坍塌的问题,论文提出 SADL(Supply And Demand Loss)。该方法通过约束编码器以匹配正则化器对差异的需求与编码器的供给能力,无需辅助网络或额外参数。在 LeWorldModel 和 INTACT 实验中,SADL 将随机种子下的坍塌率从 50% 降至 0%,有效秩提升显著,且在多个数据集上提升了分类准确率与控制稳定性。

    推荐理由:提出 SADL 方法解决 JEPAs 表征坍塌问题,在 LeWM 和 INTACT 实验中显著降低坍塌率并提升控制成功率。

  4. arXiv · 机器人与计算机视觉72

    Wildfire-SSR:一种地理定位感知的多模态融合框架用于结构级 wildfire 风险评估

    Wildfire-SSR 是一种结合卫星图像与街景全景的地理定位感知多模态框架,旨在进行结构级的野火脆弱性评估。该研究利用视觉语言模型从事件前的街景中提取建筑属性并转换为结构化文本,通过解耦交叉注意力融合解码器将其与卫星影像空间对齐,同时使用冻结的 DINOv3 编码器捕捉高空视觉上下文。

  5. arXiv · 机器人与计算机视觉76

    Seen but Unsaid:定位并修复视觉语言模型中的跨图像比较问题

    论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。

    推荐理由:研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。

  6. arXiv · 机器人与计算机视觉63

    Lost in the Hallway:发布 ReSpaceBench 基准评测持久化空间记忆

    论文介绍 ReSpaceBench 基准,包含 590 个合成与真实家庭场景及 3244 个问题,用于评测智能体在跨会话访问中的持久化空间理解能力。评估显示最强零样本模型整体准确率为 50.5%,远低于人类标注者的 90.1%;代理框架未带来额外提升。作者提供了 RS-30K 合成训练集,微调 Qwen3-VL-8B 可将准确率从 35.5% 提升至 60.4%。

  7. arXiv · 机器人与计算机视觉78

    VideoNexus:一种无需训练的长视频感知框架

    针对长视频理解中感知与推理上下文负担过重的问题,本文提出 VideoNexus 框架,将详细视频感知从证据驱动的规划与推理中解耦。该框架由规划器控制检查位置、分辨率及采样密度,感知子智能体在独立上下文中处理原生音视频并返回紧凑的时间锚定证据。

    推荐理由:该框架通过分离感知与规划,在降低推理上下文负担的同时提升了长视频理解准确率。

  8. arXiv · 机器人与计算机视觉78

    ALIVE:构建支持主动监控与反馈交互的流式视频模型

    论文介绍 ALIVE,一个支持主动监控、流式任务协调和反馈寻求交互的交互式流式视频模型。研究构建了包含 28.8 万样本的监督微调数据集(ALIVE-SFT-288K)和 3000 样本的强化学习数据集(ALIVE-RL-3K),采用对比监督微调与行为对齐信用分配强化学习进行两阶段训练,并提出了 FSI-Bench 评测基准。

    推荐理由:提出 ALIVE 交互式流式视频模型,结合对比监督微调与行为对齐信用分配强化学习,在多项基准及新评测中表现领先。

  9. arXiv · 机器人与计算机视觉44

    Hybrid Optimization-Generative Motion Planning for Multiagent Affine Formations 提出混合优化生成框架

    该研究针对高维联合轨迹计算挑战,引入结合预训练单智能体扩散先验与投影梯度下降的混合框架。仿真表明该方法能生成平滑无碰撞且符合仿射几何约束的计划,在动态可行性、避障及平滑度指标上优于最先进规划器,并易于被分布式控制器跟踪。

  10. arXiv · 机器人与计算机视觉83

    Polygraph:基于位姿图的大规模多会话轨迹优化方法

    论文提出了 Polygraph 系统,解决机器人和车辆多次穿越同一环境时的轨迹全局一致性问题。该方法在线处理会话,按关键帧和空间聚类逐步优化,不构建 3D 地图。

    推荐理由:Polygraph 提出在线多会话轨迹优化方案,无需构建 3D 地图即可实现跨设备、跨场景的位姿图融合。

  11. arXiv · 机器人与计算机视觉72

    Explain The Unexplainable:一种针对不可解释的视频异常检测模型的审计框架

    论文提出了 Explain The Unexplainable (ETU) 框架,旨在解决弱监督视频异常检测(VAD)模型预测缺乏可解释性的问题。该方法通过反事实干预冻结的 VAD 模型特征空间,将视频特征映射到代理、动作和结果的离散依赖图中,并利用图条件扩散生成器进行特征再生与掩码操作。

  12. arXiv · 机器人与计算机视觉68

    LightAct:基于经验学习的视觉世界行动策略框架

    论文提出了 LightAct 框架,旨在将交互经验转化为个体决策的引导,解决轨迹结果模糊与无指导探索重复的问题。该方法将交互片段总结为经验条目并整合为特定游戏的技能,利用共享冻结策略对候选动作进行短步长回滚比较,基于环境报告的平均得分增益生成相对动作奖励作为强化学习监督。

  13. arXiv · 机器人与计算机视觉78

    MetricHand:面向度量世界空间的 4D 手部重建的几何感知流匹配方法

    论文提出了 MetricHand,这是一个针对度量世界空间中 4D 手部重建的几何感知流匹配框架。该方法将手 - 物体交互区域的深度先验编码到关节关联表示中,结合视觉特征引导粗粒度度量估计并条件化时间生成步骤。

    推荐理由:该工作提出几何感知的流匹配框架,在度量世界空间重建手部运动,显著降低相机与绝对空间的误差。

  14. arXiv · 机器人与计算机视觉42

    EviBridge:编码预测视觉证据以支持主动交互

    EviBridge 框架将冻结的 V-JEPA 2 编码器特征映射至语言解码器,用于工具交接任务中的状态与工具联合预测。在 FuGIBench 基准测试中,最佳变体整体得分达 0.6448 和 0.5892,显著优于各自的任务自适应原生基线(0.2178 和 0.5327)。该成果涵盖目标交接、长时间等待及取消请求场景,验证了预测视觉证据对交互决策的价值。

  15. arXiv · 机器人与计算机视觉73

    GJBench:当空间被打破时,图像生成器能否维持场景完整?

    论文提出 GJBench 基准,要求图像生成模型绘制被打散、旋转且分离的拼图式场景,以区分模型是真正理解场景整体还是仅依赖相邻连接。评估显示所有测试模型均无法在碎片化条件下保持场景连贯:要么数量错误,要么轮廓不匹配导致无法拼接,且参考图对解决这些问题帮助有限。该工作揭示了图像生成器在处理空间破碎场景时的根本局限。

  16. arXiv · 机器人与计算机视觉45

    CLIP 视觉语言模型实现 Phase-OTDR 事件分类

    研究利用 CLIP 图像编码器与 Tip-Adapter-F 缓存,通过少样本学习实现相位敏感光时域反射仪(Phase-OTDR)的事件识别。在控制数据泄露的协议下,ViT-L-14 架构配合每类 128 个支持样本的配置,在独立测试集上达到 96.81%±0.42% 的准确率与 96.79%±0.42% 的宏平均 F1 分数。相关代码及图像数据集已公开于 GitHub,且性能对提示词表述不敏感。

  17. arXiv · 机器人与计算机视觉53

    通过微调视觉语言动作模型实现合规自动驾驶:引入符号交通规则反馈

    本文提出一种规则引导的 VLA 框架,将英国公路守则的部分条款形式化为可执行的一阶逻辑规则,结合专家演示监督微调和强化学习优化策略。在 CARLA 仿真器离线评估中,该方法相比仅基于监督学习的基线,显著提升了动作预测准确性和编码规则的合规率,最佳变体将整体规则通过率从 92.9% 提升至 97.6%,且在评估样本中未观察到违反路权优先级检查的情况。

  18. arXiv · 机器人与计算机视觉74

    行动前的指令:驾驶视觉 - 语言 - 动作数据的前瞻与回顾性语言监督研究

    该论文研究了驾驶视觉 - 语言 - 动作(VLA)模型中导航指令的收集与评估方法,区分了行动前发出的前瞻性指令和行动后标注的回顾性标签。作者开发了 ADVLAT-Engine 同步语音指令、道路场景视频和车辆轨迹,并在 48 条回放路线上对比了三款导航应用。

  19. arXiv · 机器人与计算机视觉28

    JEPTERA:一种用于城市无人机导航的平台无关 JEPA 辅助模型预测规划器

    JEPTERA 架构集成联合嵌入预测架构(JEPA)与模型预测控制,在三个 Gym 场景的 180 次运行中完成 28/30 任务。该平台无需修改核心逻辑即可适配 Gazebo、ROS 2、MuJoCo 和 CARLA 等仿真器,并在三张城市地图测试中实现无碰撞单路线飞行。

  20. arXiv · 机器人与计算机视觉78

    使 Koopman 控制保证在机器人上成立:Tangent-Invariant Koopman (TIK)

    论文针对 Koopman 控制器在潜空间稳定但无法稳定非线性物理系统的矛盾,提出 Tangent-Invariant Koopman (TIK) 方法。该方法通过离线估计局部植物线性化并强制一阶匹配,恢复拟合的 LQR 增益并在大机动中捕获状态依赖的动作。

    推荐理由:提出 Tangent-Invariant Koopman 方法,通过一阶匹配解决潜空间线性模型在非线性物理系统上的稳定性问题。

  21. arXiv · 机器人与计算机视觉78

    DominoBench:基于静态图像的跨步物理推理评估基准

    论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。

    推荐理由:该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。

  22. arXiv · 机器人与计算机视觉78

    SPEED+ 基准下的方向鲁棒性:来自仿真器误设的不合理置信度

    针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。

    推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。

  23. arXiv · 机器人与计算机视觉78

    SelfMark:一种用于多模态大模型的原生视觉推理能力

    该论文介绍了 SelfMark 方法,该方法允许多模态大模型在其原生的视觉特征空间中构建和使用视觉标记进行推理。通过 locate-mark-read 流程建立标记与图像的显式空间对应关系,并在空间规划、密集计数等任务上联合训练单一模型。实验显示该方法在六个基准测试中优于现有专用方法,且效果在不同骨干网络上保持一致。

    推荐理由:提出 SelfMark 方法,将视觉标记直接嵌入多模态大模型特征空间以增强推理能力。

  24. arXiv · 机器人与计算机视觉42

    AstroPIE-53:太空宇航员姿态估计失败模式分析

    AstroPIE-53 发布了一个包含 53 个标注视频的宇航员数据集,提供视频标识符、重建脚本及密集标注而非原始视频以遵守版权。研究在零样本条件下对主流检测与姿态估计模型进行了基准测试,首次系统揭示了遮挡、非常规体位、低对比度及微重力运动导致的性能下降。该工作发表于 SPAICE 2026 和 i-SAIRAS 2026,旨在量化太空环境下计算机视觉的鲁棒性局限。

  25. arXiv · 机器人与计算机视觉62

    GeoReVis:面向遥感分割的选择性修订与证据整合学习

    针对语言引导的遥感分割中存在的修订退化和证据碎片化问题,本文提出 GeoReVis 框架,通过执行反馈指导修订、候选选择及跨掩码证据整合来优化分割结果。研究构建了多轮分割轨迹数据管道以生成细粒度监督信号,并提出了 ReVis-Eval 基准协议用于评估多轮修订与证据整合的准确性。实验在 ReVis-Eval 及五个遥感推理与指代分割基准上验证了该方法的有效性。

  26. arXiv · 机器人与计算机视觉78

    SAFER:解决基于世界模型的自动驾驶规划中的探索 - 利用困境

    论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。

    推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。

  27. arXiv · 机器人与计算机视觉78

    MoViC:基于单目视频的实时人形机器人全身控制

    论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。

    推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。

  28. arXiv · 机器人与计算机视觉48

    AgenticJevNav:通过事件驱动验证实现智能物体搜索与导航

    AgenticJevNav 架构在六类仿真任务中达到 73.33% 成功率,较次优基线提升 21.67 个百分点;真实世界 GENISOM L1 四足机器人部署在 30 次试验中成功率为 70.0%,包含有界搜索报告。该研究通过结合目标规划、证据记忆与事件触发验证,展示了在部分证据下维持目标并适应执行失败的能力。

  29. arXiv · 机器人与计算机视觉78

    DiffWAM:从连续视觉差异中学习世界动作模型

    论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。

    推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。

  30. arXiv · 机器人与计算机视觉74

    Remember, Replay, Adapt:基于过往经验的在线视觉语言导航学习

    现有基于反馈的在线视觉语言导航方法主要依赖当前回合结果,未充分利用既往反馈。受人类情景记忆启发,本文提出 R2A 框架,通过成功 - 失败记忆模块保留并检索历史经验,结合先验锚定适应机制强化成功轨迹、抑制失败路径以稳定策略更新。实验在 REVERIE、R2R 和 R2R-CE 三个基准及五个导航骨干网络上验证,在 REVERIE 未见测试集上显著提升了 DUET 模型的 SR 与 SPL 指标。

  31. arXiv · 机器人与计算机视觉70

    PanDWM:一种基于全景带的 4D 驾驶世界模型方法

    论文 PanDWM 提出将六个针孔相机视图拼接为单一 360°全景带,使视角一致性转化为图像连续性约束。该方法采用因果学生网络分步生成全景窗口,并通过前馈解码器结合邻帧静态高斯构建 4D 场景。在 nuScenes 数据集上,PanDWM 在单视口评分下 FID 低于多相机基线,速度提升 8-46 倍,同时将 FVD 降低 22-25%。代码与网站链接已提供。

  32. arXiv · 机器人与计算机视觉78

    翻转测试:视频世界模型未能学会世界状态

    该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。

    推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。

  33. arXiv · 机器人与计算机视觉42

    Pros4D:在潜在空间建模演化的 4D 世界以支持动态空间推理

    Pros4D 框架通过潜在空间统一观测动力学理解与未来动力学预测,解决现有视觉语言模型难以处理连续动态变化的局限。该方案利用几何 grounded 监督构建配对示例,将观测状态压缩并自回归推演至未来状态,同时通过 4D Latent Alignment 进行视觉语义与几何配准。实验在涵盖动态相机、物体及场景的八类空间任务基准上,均展现出优于强基线的一致性能提升。

  34. arXiv · 机器人与计算机视觉87

    JEPA4R:基于 4D 点规划的具身 JEPA 世界模型

    该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。

    推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。

  35. arXiv · 机器人与计算机视觉35

    Learning Spatially Aware Audio-Visual Features from Videos with Mono Audio 提出新模型

    针对现有空间模型泛化差、语义模型缺失空间特征的问题,该研究引入能联合双耳音频与视觉进行时空推理的新模型。通过开发自动管线定位声源并渲染双耳音频以扩展 VGGSound 数据集规模,实现了在空间推理任务上的性能提升及更好的泛化能力。