跳到正文
11月11日周三
  1. arXiv · 机器人与计算机视觉42

    DORIS:水下图像复原中的偏振感知多模态退化感知框架

    DORIS 提出统一的多模态语言驱动框架,联合利用偏振与 RGB 信息生成退化描述并增强复原表示。研究构建含真实退化的 MixPolar 基准支持系统评估,实验表明该方法在混合退化场景下有效整合双源信息并取得竞争性性能。代码与数据通过 arXiv:2610.17991v2 公开,涵盖计算机视觉与模式识别领域。

  2. arXiv · 机器人与计算机视觉58

    不确定环境下长视界机器人规划评估基准

    本文介绍了一个基于 Habitat 平台的长视界家庭任务评估基准,涵盖七类任务及 90 种环境、记忆与任务的组合配置,共运行 1,350 个回合。研究对比了 ReAct、VLM-TAMP 和 Tru-POMDP 三种规划策略在任务成功率、完成率和动作效率上的表现,发现 ReAct 整体表现最佳(成功率 45.3%,完成率 71.7%),且初始记忆的准确性并不总是带来最优性能。

  3. arXiv · 机器人与计算机视觉42

    Embodiment-aware control by inference over the operator:基于 gaze 与 pupil 信号的遥操作仿真研究

    该研究提出一种通过推断操作员具身感知的控制器,利用隐式注视和瞳孔信号及任务结果优化设备设置。在异构合成操作员仿真中,该方法将具身感度量从 0.76 提升至 1.66(满分 2),且与最优设定误差仅 0.02。工作已提交 IEEE 待发表,代码与数据暂未公开,结论基于离散主动推断智能体验证。

  4. arXiv · 机器人与计算机视觉8

    GRACE:扩散模型自适应概念擦除与几何引导保留框架

    GRACE 提出一种结构化概念擦除框架,通过语义加权敏感子空间估计锁定干预方向,并利用能量驱动动态门控机制自适应控制推理时的干预时机与强度。相比五种最先进方法,该方法将细粒度 NSFW 降低率提升 17.86%,同时将目标 CLIP Score 和面向保留的 FID 分别降低 4.55% 与 52.14%,在抑制敏感概念的同时显著维持生成效用。

  5. arXiv · 机器人与计算机视觉42

    SciFigure2Code:AI 重建的科学图表转代码基准评测

    SciFigure2Code 是一个 AI 重建的基准,包含 6740 个审查过的面板和 337 个测试集,涵盖 31 种子类型及五个领域。在 14 个零样本模型中执行保真度较弱,Claude Opus 4.7 主导纯图像重建而 Opus 4.6 主导辅助重建,提示规划提升所有四款测试模型表现。该资源提供可审计的测试床以构建视觉上忠实且可编辑的科学图表展示。

  6. arXiv · 机器人与计算机视觉72

    LookThere:基于强化学习的稀疏视觉方法

    该论文提出 LookThere 方法,通过端到端强化学习框架联合训练浅层输入选择器和深层表示提取器,解决现有自适应计算方法在极端稀疏下的泛化问题。实验表明该方法仅选择任务特定输入,在高分辨率场景(交通标志、台球)下表现优异,仅需 0.2% 的输入即可保持精度,并在图像分类、分割、零样本分类及回归等跨任务和模型设置中超越最先进方法。

  7. arXiv · 机器人与计算机视觉72

    基于分布式蜂群控制的自主机器人搭桥技术:无需通信的多模型感知与定位

    本文介绍 SCARAB 系统,利用分布式蜂群控制和多模型感知,使代理能在无 GPS 或射频通信环境下实现自我定位、编队及抵达目标位置。研究通过物理引擎仿真验证了无人水面载体(USV)在风浪环境下的表现,旨在支持军队执行不可预测的分散河流穿越任务并提升生存能力。

  8. arXiv · 机器人与计算机视觉82

    基于多视图关系蒸馏的视觉 - 语言模型空间推理研究

    针对视觉 - 语言模型在具身智能和自动驾驶中存在的几何脆弱性问题,本文提出多视图关系蒸馏方法。该方法通过蒸馏跨视图的 patch-wise 余弦相似度而非教师特征本身,在编码几何对应关系的同时保留预训练对齐。实验表明,该方法在物体定位、密集描述等任务上优于监督微调与特征蒸馏,且参数更少、延迟更低。代码已开源。

    推荐理由:提出多视图关系蒸馏方法,在提升视觉空间推理能力的同时保持语言对齐,且参数开销低于特征融合。

  9. arXiv · 机器人与计算机视觉75

    MMDiff:一种用于特征发现与控制的多模态模型差分框架

    该论文提出了 MMDiff 框架,旨在解决多模态大语言模型内部特征难以识别和控制的难题。研究团队在 LLaVA-MORE、PaliGemma 2 和 InternVL3.5 三个模型家族上训练了多模态稀疏自编码器(SAEs),并通过基线模型与多模态适配版本的差分分析,实现了特征隔离、任务特定检测及因果控制。

  10. arXiv · 机器人与计算机视觉78

    UpCount:一种具有空间感知的类别无关物体计数方法

    针对现有通用物体计数方法在处理结构复杂物体时空间建模能力不足的问题,论文提出了 UpCount 模型。该方法从 ViT-B/16 编码器提取多层特征并重组为经密集预测 Transformer 和 FeatUp 优化的多尺度金字塔,以增强结构与空间敏感性;随后利用提议 - 验证计数头识别重复模式并生成密度图进行最终计数。

    推荐理由:UpCount 通过多尺度特征金字塔与密集预测 Transformer 增强空间结构感知,在复杂物体计数任务上取得优于现有方法的 MAE/RMSE 指标。

  11. arXiv · 机器人与计算机视觉13

    Deep Learning-based Filtering for Video Coding 架构算法与复杂度分析综述

    针对物联网与消费电子领域对高效视频编码的迫切需求,该论文提出基于深度学习的滤波(DLF)技术三维分类体系,重点权衡率失真性能与硬件可行性。研究结合联合视频专家组(JVET)关于神经网络视频编码的最新标准化活动,指出实时推理延迟与误差传播仍是下一代消费电子设备面临的主要挑战。

  12. arXiv · 机器人与计算机视觉55

    大视觉语言模型中的认知专家混合架构

    该论文针对大视觉语言模型(LVLM)在跨认知层级任务中推理一致性的挑战,提出一种基于 Bloom 分类学的多模态推理框架。方法首先利用专用计算机视觉模型作为感知子系统处理对象检测与空间布局等任务,随后通过两阶段认知言语化生成原子证据摘要并转化为分步推理轨迹,最后由轻量级模块量化分析以明确证据使用路径。

  13. arXiv · 机器人与计算机视觉72

    HABIT:面向人类感知的机器人操作行为与交互训练数据集

    针对现有机器人演示数据多在无人环境中采集导致策略缺乏人类感知行为的不足,本文提出 HABIT 大规模机器人演示数据集。该数据集包含超过 10K 个片段和 160 小时视频,覆盖 60 项任务,将任务分为协作、同事与监督三种角色以捕捉不同的人类 - 机器人交互模式。

  14. arXiv · 机器人与计算机视觉35

    RepFusion:利用多模态先验在表征空间去噪的视觉生成方法

    RepFusion 复用多模态大模型(MLLM)输出作为扩散 Transformer 的条件信号,在相似推理预算下优于训练新去噪器的基线。该方法将 MLLM 从文本编码扩展至噪声输入,利用其表征自编码器特性加速推理并保留性能。该工作为 NeurIPS 2026 预印本,代码与论文托管于 arXiv (arXiv:2606.14700)。

  15. arXiv · 机器人与计算机视觉33

    CD-RCM:反射共焦显微镜的通用连续深度新视角合成方法

    CD-RCM 是首个针对反射共焦显微镜(RCM)的新型视角合成(NVS)方法,通过插值稀疏采集的 Z 堆栈实现各向同性三维可视化。该前馈模型在无需患者优化前提下,支持任意方向切片及类组织病理学横截面检查,推理耗时低于秒级。实验表明该方法能生成高保真新视角图像,解决了传统神经渲染无法处理 RCM 轴向成像几何与遮挡物理的问题。

  16. arXiv · 机器人与计算机视觉68

    Video-Mirai:自回归视频扩散模型需要前瞻性

    论文提出 Video-Mirai 方法,旨在解决因果视频生成中因仅依赖过去信息导致的表示层规划缺口。该方法在训练阶段引入冻结的前瞻性编码器读取完整 rollout 结果,将未来帧作为监督目标蒸馏至当前状态,而推理时丢弃辅助模块以保持原有架构不变。实验显示,该方法在 VBench 总分上从 83.8 提升至 84.6,并在长序列生成中显著改善了主体与背景的一致性。

  17. arXiv · 机器人与计算机视觉65

    $A^2$: 更小的自监督 ViT 比更大的 ViT 定位效果更好

    论文发现较小的自监督视觉Transformer(ViT)在最后层注意力图上对前景物体的定位优于大模型,但大模型能提取更丰富的表征。为此提出$A^2$方法,通过解耦‘看哪里’(小模型注意力峰值裁剪)与‘提取什么’(大模型嵌入),在无需组标签或针对数据集训练注意力的情况下实现两者结合。该方法在5个基准测试中与骨干匹配的损失级方法竞争,并在更强的分布偏移下优于端到端注意力训练。

  18. arXiv · 机器人与计算机视觉82

    工具是带来能力提升还是仅作为辅助?多模态智能体能力增益溯源分析

    该研究对比了 Thyme 和 DeepEyesV2 两个多模态智能体在有工具与无工具设置下的表现,发现工具调用并未显著降低生成 token 成本或提升整体解决率。消融实验表明,仅凭工具调用痕迹无法证明模型真正利用了工具提供的关键信息,建议评估时区分工具可用性与实际能力扩展。

    推荐理由:研究发现工具调用痕迹并不等同于能力增益,多数模型在有无工具下表现差异不大。

  19. arXiv · 机器人与计算机视觉82

    SSR:迈向开放世界的稳健与人称对称人形机器人穿越框架

    论文提出 SSR 框架,旨在解决人形机器人在非结构化地形上的安全高效移动难题。该方法通过自监督学习结合想象落脚点引导,预测摆动脚接触点并评估支撑稳定性以减少滑倒;同时利用等变潜在空间对称性增强实现高维视觉下的双侧协调,并结合特定地形的多判别器运动先验鼓励类人行为。实验表明 SSR 在楼梯、宽缝隙和高台等极端挑战下均能实现安全稳定的长时程穿越。

    推荐理由:提出端到端框架 SSR,利用想象落脚点引导与对称性增强实现人形机器人在复杂地形的稳定行走。

  20. arXiv · 机器人与计算机视觉72

    PaGeR:基于多视图基础模型的统一全景几何估计方法

    论文介绍 PaGeR(Panoramic Geometry Reconstruction)框架,旨在利用多视图基础模型从全景图像中重建 3D 场景结构。该方法通过最小化架构改动并在训练中混合视角与全景数据,使预训练变换器能够单次前向预测尺度不变深度、度量深度、表面法线和天空掩膜。

  21. arXiv · 机器人与计算机视觉72

    AnyMo:面向野外场景的几何感知人体运动建模方法

    该论文提出 AnyMo 框架,旨在解决可穿戴惯性测量单元(IMU)因佩戴位置、朝向及硬件差异导致的数据迁移难题。该方法利用基于物理原理的 IMU 仿真生成密集的人体表面放置数据以预训练图编码器,并将多位置 IMU 信号 token 化为全身运动表示,进而与大语言模型对齐以实现运动理解。

  22. arXiv · 机器人与计算机视觉78

    MAPLE:基于潜在空间的端到端自动驾驶多智能体博弈框架

    论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。

    推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。

  23. arXiv · 机器人与计算机视觉60

    VL-UniTrack:一种用于无人机 - 地面视觉跟踪的统一框架

    VL-UniTrack 提出一种增强视觉语言提示的统一框架,旨在同时从无人机和地面视角跟踪同一目标。该方法通过共享编码器减少特征隔离,并设计视觉语言观点提示模块融合语言描述与视觉特征以生成可学习提示,缓解仅依赖外观匹配的模糊性。此外,引入置信度调节的互蒸馏损失抑制噪声传播。实验表明该框架在最新基准上达到最先进水平,代码已开源。

  24. arXiv · 机器人与计算机视觉52

    通过旋转毫米波雷达实现复杂农田农业无人机地形感知

    针对农业无人机在复杂农田中地形跟随飞行受遮挡、几何复杂及环境干扰影响的问题,本文提出一种低成本旋转毫米波雷达地形感知框架。系统采用机械旋转设计以扩大空间覆盖并提升动态低空飞行下的地形可观测性,并设计了适配稀疏噪声数据的姿态一致重建流程以实现可靠的地面提取与连续表面估计。完整系统在真实农业无人机平台上部署并通过大量田间实验验证,地面分割 F1 分数达 94.42%,优于最佳竞品 90.48%。

  25. arXiv · 机器人与计算机视觉72

    COMO:基于最小风险训练的光学分子闭环识别

    arXiv 预印本介绍了一种名为 COMO 的新框架,用于光学化学结构识别(OCSR)。该方法引入最小风险训练(MRT)策略,直接优化分子层面的非可微目标以缓解暴露偏差。实验在十项基准上验证了其在合成及真实文档数据上的优越性,且消融研究表明该训练范式对架构无关。

  26. arXiv · 机器人与计算机视觉65

    基于视觉的四足机器人敏捷运动:稀疏门控混合专家模型研究

    该论文提出将稀疏门控混合专家(MoE)架构应用于基于视觉的四足机器人运动控制任务。实验在受控设置下对比了标准 MLP 与 MoE 策略,结果显示在激活参数数匹配的情况下,MoE 架构使训练奖励提升 8%,且优于同等总参数的 MLP。研究还通过真实 Unitree Go2 四足机器人的实验验证了该方法在现实世界中的性能表现,表明借鉴大语言模型领域的稀疏化技术对机器人运动控制具有应用潜力。

  27. arXiv · 机器人与计算机视觉72

    DVFace:面向真实世界视频人脸复原的一步扩散框架

    DVFace 是一种用于视频人脸复原的一步扩散框架,旨在将退化视频增强为具有逼真细节、稳定身份和时序连贯的高质量结果。该方法引入时空双码本设计以从退化视频中提取互补的时空人脸先验,并提出非对称时空融合模块将这些先验注入扩散主干网络。在多个基准测试中,DVFace 展现出优于近期方法的复原质量、时序一致性和身份保持能力。代码已开源。

  28. arXiv · 机器人与计算机视觉68

    BigEarthNet.txt:一个大规模多传感器遥感图文数据集与基准

    针对现有遥感数据缺乏大规模、多传感器且具备多样化文本标注的局限,该研究发布了 BigEarthNet.txt 数据集。该数据集包含 46.4 万幅配准后的 Sentinel-1 合成孔径雷达和 Sentinel-2 多光谱图像,附带 960 万条文本标注,涵盖地理锚定的土地利用/覆盖描述、视觉问答对及边界框预测指令。

  29. arXiv · 机器人与计算机视觉82

    基于激活打补丁的因果归因方法 CAAP

    针对 Vision Transformer 归因方法依赖局部近似或输入扰动的局限,本文提出 Causal Attribution via Activation Patching (CAAP)。该方法通过在不同层间将源图像激活插入中性目标上下文,直接评估内部表征对预测的贡献。实验表明,CAAP 在多种 ViT 骨干网络中均能产生更忠实且定位准确的归因图,优于现有梯度、相关性传播及注意力基线方法。

    推荐理由:提出通过激活打补丁直接干预内部表征的归因方法,在多种 ViT 骨干网络中表现优于现有梯度或扰动类基线。

  30. arXiv · 机器人与计算机视觉68

    Show, Don't Tell:通过观看人类视频检测新物体

    论文提出一种名为 Show, Don't Tell 的自监督系统,旨在解决机器人快速识别演示中出现的未知物体的问题。该方法通过在自动创建的、由人类演示监督的数据集上训练专用目标检测器,完全绕过语言描述和复杂的提示工程。研究开发了集成在机器人上的系统,将这一范式应用于现实世界的机器人部署,实验结果表明该流程在操作物体检测和识别方面显著优于现有最先进方法,从而提升了机器人的任务完成率。

  31. arXiv · 机器人与计算机视觉68

    LucidNFT:面向流匹配真实世界超分辨率的多奖励偏好优化

    针对生成式真实图像超分辨率中随机采样导致的语义幻觉问题,论文提出 LucidNFT 框架。该框架引入基于内容一致性的退化池与硬负样本训练出的 LucidConsistency 评估器以检测局部幻觉,并采用解耦的奖励归一化策略保留各目标间的对比度。实验表明,该方法在保持低分辨率输入参考一致性的同时提升了感知质量,且在独立人类评测中,72.5% 的比较结果认为其输出更忠实于原始低分辨率输入。

  32. arXiv · 机器人与计算机视觉65

    Altitude-Adaptive UAV-to-Map Image Matching for Aerial Geo-Localization 论文发布

    该研究针对直接定位信号缺失场景,提出一种适应无人机飞行高度的空天地地理定位框架。通过频率域表示和回归分类估计相对高度,利用预测的高度中心定义尺度先验以引导图像归一化,并采用足迹自适应边距分类器调整训练策略。在合成与真实飞行数据集上的实验表明,相比无高度归一化的检索流程,该模块在 100 米定位阈值下的平均 R@1 和 R@5 分别提升了 50.68 和 47.20 个百分点。

  33. arXiv · 机器人与计算机视觉63

    基于物理信息的可变形线性物体自监督动态操控方法 SPiD

    论文提出了 SPiD 框架,通过耦合精确的可变形物体质量弹簧模型与增强的自监督训练策略,实现了对绳类等可变形线性物体的快速平滑稳定控制。该方法在仿真和真实世界中均验证了其在不同初始状态、绳长及外部干扰下的泛化能力,并展示了从遥操作到自主执行的鲁棒性。