跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉78

    Few-Shot Visual Concept Extraction for Steering Diffusion Transformers

    该论文提出一种无需训练的新框架,直接从扩散 Transformer 的图像侧激活中提取视觉概念方向。该方法利用简单的均值差估计器,能在少样本提示对下识别出可复用的概念方向并注入推理过程以实现连续控制。定量结果显示,其方法优于文本编码器引导和免训练激活编辑基线,且能与专用编辑模型竞争,支持在同一图像中对多个概念进行精确的定向和组合式操控。

  2. arXiv · 机器人与计算机视觉59

    为开放词汇查询准备更轻更快:高斯泼溅的查询感知三维分割器

    论文提出一种无需训练的轻量级框架,用于高斯泼溅(Gaussian Splatting)上的查询驱动三维实例分割。该方法利用密集像素级 CLIP 特征保留细粒度语义信息,通过视频分割器在选定视角识别目标区域并跨视图传播,最后利用新颖的可见性投票策略将二维轨迹提升为三维高斯掩码。

  3. arXiv · 机器人与计算机视觉23

    多星协同边缘 AI 框架实现小目标空间检测与避撞评估

    针对近地空间拥堵风险,该研究提出多视角空间目标检测(SOD)协同边缘 AI 框架并系统评测深度学习模型。图像级融合在跨卫星链路带宽约束下,平均将通信与推理延迟降低约 30.13% 至 32.80%,且在高视角集下引入的延迟开销极小。该工作为未来协同卫星网络设计及空间态势感知提供了关键设计洞察。

  4. arXiv · 机器人与计算机视觉73

    WA-JEPA:一种用于世界 - 动作模型的基于目标感知的预测性反馈动作细化方法

    WA-JEPA 是一种耦合了动作生成、动作条件潜空间预测和目标感知反馈的世界 - 动作模型。该方法首先生成动作提议并预测未来的场景与本体状态,随后利用任务目标作为参考,通过目标差异残差反馈和未来场景上下文反馈两条互补路径对提议进行迭代细化。

  5. arXiv · 机器人与计算机视觉78

    RoboCoEvo:通过智能体 - 策略协同进化扩展机器人能力

    论文提出 RoboCoEvo 框架,旨在解决 MLLM 智能体与机器人基础模型(如 VLA)改进脱节的问题。该方法采用代码即策略的表述形式,让智能体开发可执行的失败检测与恢复程序以生成修正经验,随后将修正行为整合进模型的端到端策略中;更新后的策略分布变化反过来指导智能体程序的修订。

    推荐理由:提出基于代码的策略与 VLA 模型协同进化的框架,通过失败引导的迭代循环提升自主任务执行能力。

  6. arXiv · 机器人与计算机视觉58

    探究惊喜发生的位置:视频世界模型的局部违反预期评估

    针对现有违反预期基准仅聚合时空误差导致无法定位物理理解缺陷的问题,本文引入局部违反预期评估框架,对比了全局、时间局部化及空时局部化的 V-JEPA 模型表现。研究发现在发育性自我中心视频预训练过程中,全局与局部判断的吻合度呈非单调变化,且局部判断置信度随准确率提升而增加,证实全局误差不能直接作为物理违规的时空证据。

  7. arXiv · 机器人与计算机视觉78

    面向瓶颈环境的层级多机器人导航:通道聚焦软协调方法

    针对多机器人导航中全局调度对执行偏差敏感而局部方法缺乏长程协同的问题,提出一种结合软全局协调与灵活局部执行的框架。该方法利用凸集图支持优先级规划,通过感知通道的路线选择与时空路径受限优化避免冲突,并采用模型预测路径积分控制器在线避障及自适应跟踪策略应对偏差。

    推荐理由:提出基于通道的分层多机器人导航框架,在仿真与硬件实验中均实现高成功率并优于基线。

  8. arXiv · 机器人与计算机视觉48

    RescueVLM:基于 SketchVLM 的开源免训练救援无人机视觉语言框架

    RescueVLM 是基于 SketchVLM 构建的开源、免训练且模型无关的救援工具,支持在本地部署并通过下拉菜单切换底层模型。该框架在德国消防队实地数据及实火演习中验证有效,单次自然语言查询即可将数百张图像浓缩为带 SVG 标注和 GPS 定位的关键帧短名单供指挥官审阅。

  9. arXiv · 机器人与计算机视觉83

    Frame First, Decode Once:面向系统一世界模型的物体中心坐标与单次解码方法

    论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。

    推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。

  10. arXiv · 机器人与计算机视觉78

    面向内窥镜手术视频理解的特征空间潜在预测方法

    Songtao Hu 等人提出一种特征空间语义预测框架,旨在解决现有手术辅助系统过度关注外观保真而忽视下游推理需求的问题。该方法直接在冻结的视觉基础模型(VFM)表示中建模时序动态,通过构建分层目标表示并用可学习掩码替换未来帧特征,训练掩码 Transformer 从观测上下文预测潜在特征。

    推荐理由:提出在冻结视觉基础模型特征空间进行语义预测的框架,相比像素级合成在手术流程预判与工具识别上表现更优。

  11. arXiv · 机器人与计算机视觉78

    AITHER:面向混合权威性的图文证据路由方法

    论文提出 AITHER(Authority-Informed Text-Image Hierarchy)框架,旨在解决传统 grounding 方法中隐含的决策问题——即何种输入有权决定答案。

    推荐理由:提出 AITHER 方法,通过无训练语义帧路由解决多权威图文推理冲突,在 MATRIX 基准上准确率超最强基线 9.1 个点。

  12. arXiv · 机器人与计算机视觉33

    ARC-VLN:基于自适应递归计算的视觉语言导航框架

    ARC-VLN 提出一种 token 类型感知的递归计算框架,在文本与动作 token 保留全深度计算的同时,为视觉 token 自适应选择退出深度以压缩序列。该模型在 OpenFly 的 Test-Seen 和 Test-Unseen 子集上实现了最低的导航误差、最高的成功率及路径加权成功率,并显著减少了决策步数、浮点运算量、推理时间和显存占用。

  13. arXiv · 机器人与计算机视觉78

    超越原始相似度:基于先验感知的分布外检测方法

    针对视觉语言模型在分布外(OOD)输入上过度自信的问题,本文提出多模态 Logit 融合(MM-Log)方法。该方法在不丢弃预训练几何结构的前提下,将零样本先验与任务适配分支的四个跨模态相似度通道融合为单一 OOD 分数,利用冻结 CLIP 对捷径攻击形成一致性校验。

    推荐理由:提出无需微调的零样本先验融合方法,通过冻结 CLIP 与任务分支的一致性检查提升分布外检测鲁棒性。

  14. arXiv · 机器人与计算机视觉58

    ThinkWise:基于视觉与难度感知的多模态推理大模型何时思考的学习方法

    该论文针对现有多模态推理大模型在视觉定位不确定时过度分配深层推理的问题,提出 ThinkWise 框架。该方法引入实例自适应的视觉感知建模机制以校准不确定性,并设计包含答案、感知与难度条件的结构化奖励公式来调节推理深度。实验表明,ThinkWise 在多个基准测试中显著提升了 3B 和 7B 模型的准确率与效率平衡。材料为预印本论文,未涉及真实机器人部署或产品发布。

11月16日周一
  1. IEEE Spectrum · Robotics67

    机器人能否将卒中手术带到偏远医院?

    IEEE Spectrum 报道 Remedy Robotics 的 N1 系统原型,该系统旨在通过遥操作帮助偏远地区进行急性缺血性卒中的血管内取栓术。文章指出,尽管该技术能解决时间紧迫的临床需求并提升操作精度,但其成功高度依赖低延迟网络基础设施、医院现有资源及工作流整合。Remedy 计划先开展院内非紧急手术试验以验证系统价值,随后再推进远程手术临床试验,目前尚未在美国获得完全监管批准。

  2. arXiv · 机器人与计算机视觉42

    Teleo-Spatial Intelligence 模型在物理动力学与意图推理上落后人类表现

    Teleo-Spatial Intelligence(TSI)通过整合物理动力学与动作目标,揭示了视觉语言模型在开放世界环境中存在显著的意图推理差距。基于包含 11,328 个真实视频及 8,000 例基准数据的 EscherVerse 资源评估显示,最强专有模型整体准确率仅为 57.26%,远低于人类首判平均 90.62% 的水平。

  3. arXiv · 机器人与计算机视觉68

    面向软体机器人的连续时间随机状态估计框架

    针对传统软体机器人(CR)状态估计依赖复杂动力学模型或准静态方法的局限,本文引入一种基于因子图优化范式的连续时间随机状态估计框架。该方法将连续时间运动学构建为受白噪声高斯过程影响的因子,结合简单机器人模型与高频传感,实现对未建模外部力及数据丢失的适应。

  4. arXiv · 机器人与计算机视觉30

    Foundation Model Driven Robotics:基于基础模型的机器人技术综述与未来路线图

    该综述系统梳理了大语言模型和视觉语言模型在感知、规划及人机交互领域的进展,将应用划分为仿真驱动、开放世界操作等四个方向。文章重点分析了程序化场景生成与策略泛化等关键趋势,同时指出了具身数据匮乏、安全风险及算力限制等核心瓶颈。最后提出了通过构建更鲁棒的可解释模型来弥合语义推理与物理智能差距的未来研究路线图。

  5. arXiv · 机器人与计算机视觉78

    VLAN:面向多主体的视觉语言可访问导航基准

    VLAN 是一个新的导航基准数据集,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,涵盖多样光照与环境条件。该基准针对足式与轮式智能体(含人形机器人与四足机器人)以及视觉或行动障碍人士提供特定主体的动作与可访问性特征,并将日常障碍物分类为可通过、绕行、高风险和阻挡四类。

    推荐理由:VLAN 基准提供千人场景与二十万轨迹数据,支持足式、轮式及残障用户等多主体导航评估。

  6. arXiv · 机器人与计算机视觉53

    StreamEmbed:基于像素差异的屏幕截图实时索引系统

    针对屏幕历史作为可搜索视觉记忆的需求,本文提出了 StreamEmbed 系统,通过空间 Token 剪枝与时间 KV 缓存复用技术,利用截图间的像素冗余实现增量视觉嵌入。实验显示该系统在 M2 Pro GPU 上将编码速度提升最高 3.7 倍,相比 OCR 索引在同等延迟下 Recall@10 提升 6.3 个点,且仅需 0.13 GB RAM 即可存储模拟一年的截图数据。

  7. arXiv · 机器人与计算机视觉42

    Disturbance-Aware Informative Planning 在时空环境中的扰动感知信息规划方法

    针对外部扰动影响机器人轨迹优化的问题,该方法提出两阶段框架,结合有信息的扰动采样与扰动感知轨迹优化。实验显示,相比全域估计,其在四个仿真场景中减少 25.0--52.3% 的学习时间并识别更优路径。论文已提交至 Learning for Dynamics and Control Conference 2027。

  8. arXiv · 机器人与计算机视觉23

    遥操作干预提升自驱动实验室韧性研究

    针对自驱动实验室(SDL)自动化流程故障,该研究开发了基于 UR3e 机械臂与 3Dconnexion SpaceMouse Pro 的遥操作接口。对比测试表明解耦控制器模式缩短了任务完成时间并减少旋转运动,且无参考路径引导时用户更具目标导向性。工作验证了人机回环机制在 SDL 故障恢复中的可行性,为未来共享自主性研究奠定基础。

  9. arXiv · 机器人与计算机视觉65

    DIRT:基于双带混合的深度补全图像渲染实现实时新视角合成

    DIRT 方法提出一种无需训练和优化的实时新视角合成(NVS)方案,利用主动传感器获取的稀疏点几何在屏幕空间完成深度缓冲,并通过频率感知的双带混合策略融合投影后的观测数据。该方法适用于手持 RGB-D、车载 LiDAR 及热成像等异构传感器,且在低光条件下表现良好,实验显示其在实时重建场景中优于以往方法,同时在传统 NVS 基准上保持竞争力。

  10. arXiv · 机器人与计算机视觉48

    Qwen3.5-27B 与 Gemma-4-31B-it 作为空间先验的导航能力评估

    研究利用 CubiCasa5K 和 ScanNet 真实布局,评估 Qwen3.5-27B 和 Gemma-4-31B-it 能否提供物体位置的空间分布先验。结果显示模型虽能关联物体与房间类型,但在物体靠墙性及生成布局几何一致性上不及基于真实布局的先验。结论支持将 LLM 用于约束坐标书写及后续几何校验,而非直接替代真实布局作为放置先验来源。

  11. arXiv · 机器人与计算机视觉82

    TelePhysica:基于智能体的物理交互式场景重构方法

    TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。

    推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。

  12. arXiv · 机器人与计算机视觉58

    RSSA:一种鲁棒的语义与空间对齐器用于协作感知

    针对V2X协作感知中基于简单空间形变导致语义错位及对位置噪声敏感的问题,本文提出插件式模块RSSA。该模块通过语义变换块校正语义不一致,利用概率空间采样进行空间形变以增强鲁棒性,并引入相对变换增强策略辅助训练。实验表明,该方法在清洁与含噪位置配置下均大幅优于最先进方法。论文已获NeurIPS 2026接收。

  13. arXiv · 机器人与计算机视觉62

    See and Detect:图像驱动的开放词汇多视角 3D 物体检测

    针对现有方法依赖点云导致定位与分类受限的问题,本文提出 See and Detect 框架,利用多视图图像作为主要证据生成 3D 框和语义标签。通过单图候选发现、多视图共识框融合及质量评估提升定位鲁棒性,并引入上下文感知语义学习增强分类精度。实验表明该方法在 ScanNet 和 ARKitScenes 数据集上达到最先进性能,运行速度比此前 SOTA 方法快超过 500 倍。

  14. arXiv · 机器人与计算机视觉83

    V-JEPA-LM:能读取动态信息的视频语言模型

    针对现有视频语言模型仅检索静态属性而忽略动态信息的局限,本文提出 V-JEPA-LM 架构。研究证明动态信息存在于预测编码器的子空间中,并通过像素变换构建反事实监督数据,使语言模型在单阶段训练中即可读取速度等动态特征。

    推荐理由:该文提出利用反事实监督让语言模型读取视频编码器中未被利用的动态信息,在单阶段训练中于多项基准测试中超越现有开源模型。

  15. arXiv · 机器人与计算机视觉48

    Beyond Prediction Gain:LASR 作为世界模型中动作 grounded 潜变量的评估指标

    针对大规模视频数据缺乏动作标注且现有评估无法区分预测捷径与真实动作信息的问题,研究提出 Latent Action Support Ratio (LASR) 这一无单位离线指标。该基准通过机器人操作记录数据验证了 LASR 能检测已知动作信息、拒绝非动作捷径并支持不完备潜变量的分级比较。此外,利用 LASR 训练和审计的轻量残差适配器获得了描述性更优的点估计值及其不确定性评估。

  16. arXiv · 机器人与计算机视觉72

    AnisoFlow:学习各向异性预测目标的流模型方法

    针对基于流的生成模型依赖人工设定预测目标(如速度或噪声)的问题,本文提出 AnisoFlow 框架,引入可学习的各向异性缩放机制替代固定目标。该方法在保持网络架构与损失函数不变的前提下,通过闭式映射恢复速度场,显著降低预测误差。实验显示,AnisoFlow 在 ImageNet 256x256 数据集上将 FID 分数从 1.90 提升至 1.55,并在低精度推理下有效消除图像块接缝伪影。

  17. arXiv · 机器人与计算机视觉82

    CLIP 嵌入中分层概念结构的可证明跨模态转移

    该论文形式化了 CLIP 嵌入中的层次角分离现象,分析了图像与文本嵌入在对比学习下的不对称性,推导了线性损失和 InfoNCE 损失的闭式解,并通过合成实验验证了理论。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。

    推荐理由:本文从理论上解释了 CLIP 嵌入中层次结构产生的几何机制,并给出了闭式解。

  18. arXiv · 机器人与计算机视觉74

    学习潜在目标成本以支持视觉世界模型的规划:基于扩展课程的方法

    针对冻结视觉世界模型中图像 - 目标规划依赖预测观测评分的问题,本文提出在预训练 I-JEPA 嵌入上拟合小残差适配器来优化潜在目标成本。该方法利用成功轨迹的观测顺序及失败回滚推断的比较进行学习,无需任务特定进度标签。

  19. arXiv · 机器人与计算机视觉74

    Racing the Clock:预算条件化的物体搜索教学

    该论文提出在视觉语言导航任务中引入显式时间预算约束,对比了基于全局地图的最优路径专家与基于部分可观测性的贝尔曼方程专家对智能体的监督效果。实验表明,尽管最优路径专家性能更高,但贝尔曼监督在探索未知场景时表现更优,特别是在长预算条件下能发现更多目标实例。