跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉42

    Geometric Entropy:轨迹多样性在模仿学习中的双面效应与度量方法

    研究提出几何熵(H_G)这一任务无关指标,量化去除目标位姿等外在变化后的内在轨迹多样性。实验发现成功率与 H_G 呈倒 U 型关系,适度多样性提升鲁棒性但过高会导致策略模糊;随着数据增加或任务掌握度提高,最优熵值向更低水平偏移。该度量可用于演示数据集的快速预训练审计及校准指南。

  2. arXiv · 机器人与计算机视觉72

    频率感知流匹配用于连续一致的机器人动作生成

    针对现有流匹配方法依赖离散动作块导致对异质控制频率敏感及动作时序不一致的问题,本文提出频率感知流匹配(FAFM)。该方法将离散序列转换至频域进行流匹配,并通过一阶导数正则化约束提升动作平滑度。实验在合成基准、避障、LapGym 及 LIBERO 等任务上验证了其在成功率、多模态表达能力、运动平滑性及收敛速度等方面的改进,并在真实 Franka 机器人部署中表现一致。代码已开源。

  3. arXiv · 机器人与计算机视觉49

    CLIP 测试时自适应驱动因素与控制研究:TTABC 基准发布

    该研究通过受控实验揭示 CLIP 测试时自适应(TTA)的驱动机制,提出开源基准 TTABC 整合超 20 种方法并标准化评估协议。分析表明适应增益主要源于测试时证据与可靠代理而非重度优化,且不存在适用于所有分布偏移的万能范式。项目页面已公开,论文被 NeurIPS 2026 E&D Track 接收。

  4. arXiv · 机器人与计算机视觉82

    LAFP:通过流匹配保留潜在策略学习中的潜在动作结构

    针对大规模无标签视频与有限真实交互数据训练潜在策略时,现有行为克隆方法易导致多模态动作分布坍缩的问题,本文提出 Latent Action Flow Policy(LAFP)。

    推荐理由:提出利用流匹配保持潜在动作结构的方法,在模仿学习任务中平均成功率提升 8.2%。

  5. arXiv · 机器人与计算机视觉70

    RoboWits:面向机器人创造性问题解决的新基准与发现

    arXiv 论文介绍 RoboWits 双手动机器人基准,旨在系统评估认知推理、创造性工具使用及应对意外条件的鲁棒性。作者提出多智能体协作框架自动生成种子任务并引入几何、材料等维度的突变。实验显示预训练 VLA 微调后在种子任务表现尚可,但在突变任务中显著失效;基于 GPT-6 Astra 的零样本策略虽优于所有微调模型,仍损失约五分之一成功率,表明仅靠更强基础模型无法解决鲁棒性差距。

  6. arXiv · 机器人与计算机视觉65

    OmniGF:一种用于统一视线跟随的双分支视觉语言框架

    OmniGF 是一种统一的视觉语言框架,旨在解决传统模型仅擅长空间定位或 VLM 依赖离散文本生成导致精度受限的问题。该框架采用双分支解码策略:结构化语言分支生成离散推理状态,连续空间分支直接利用 VLM 的稠密隐藏态以克服坐标生成的空间瓶颈。

  7. arXiv · 机器人与计算机视觉70

    OASIS:基于 SE(3)轨迹预测的观测 - 动作空间对齐方法

    论文 OASIS 提出一种视觉运动策略,通过融合视觉语言与度量深度特征的 3D 感知编码器,结合 SE(3)末端执行器轨迹预测器,使动作解码器生成符合刚体运动的动作块。该方法在仿真和真实世界实验中均优于 VLA 和世界动作模型基线,提升了成功率与分布外泛化能力。材料为 NeurIPS 2026 Spotlight 接收的预印本,项目页面已公开。

  8. arXiv · 机器人与计算机视觉82

    基于逆运动学的智驾 VLA 模型:解决盲点规划与捷径学习问题

    该论文指出代表性驾驶视觉语言模型(Driving VLAs)存在反事实障碍插入下的盲点规划问题,即车辆出现在前方时轨迹仍不变。研究通过偏差 - 方差分析发现模型依赖 ego 状态和指令的捷径,并提出了一种受逆运动学启发的架构:利用 LLM 预测未来视觉场景提供密集监督,并设计独立的逆运动学网络仅基于当前和未来视觉状态解码轨迹,以抑制对 ego 状态的依赖。

    推荐理由:该研究通过逆运动学架构解决了智驾 VLA 模型依赖 ego 状态捷径的问题,仅用摄像头在 NAVSIM 和 nuScenes 上实现了 SOTA 轨迹规划性能。

  9. arXiv · 机器人与计算机视觉78

    ALAM:一种用于视觉语言动作模型的代数一致潜在动作模型

    针对视觉语言动作模型缺乏带标注动作数据的问题,该研究提出 ALAM 模型,从无动作视频中提取物理世界变化先验。通过帧三元组学习受重建约束且符合组合与可逆一致性的潜在转换,构建局部加性转换空间。

    推荐理由:该工作提出代数一致潜在动作模型,利用无标签视频构建结构化先验,显著提升 VLA 策略在仿真及真实任务中的成功率。

  10. arXiv · 机器人与计算机视觉72

    HaloProbe:一种用于视觉语言模型的物体幻觉贝叶斯检测与缓解方法

    针对大视觉语言模型在图像描述中产生物体幻觉的问题,本文指出基于粗粒度注意力权重的检测方法不可靠,并引入 HaloProbe 框架。该方法通过平衡训练结合外部特征先验来估计令牌级幻觉概率,并将其作为非侵入式的外部评分信号用于解码干预。实验表明,HaloProbe 引导的解码在降低幻觉方面优于现有干预方法,同时保持了描述的工具性和语言流畅度。

  11. arXiv · 机器人与计算机视觉78

    Logit-Conditioned Diffusion Decoding for Frozen Discrete-Token VLMs

    论文提出 DCDD 框架,旨在解决预训练离散 Token 视觉语言模型(VLM)因 VQ-VAE 解码阶段导致的视觉保真度瓶颈。该方法无需重训基础模型,而是利用模型采样前计算出的 Logit 分布作为条件来驱动扩散解码器。

    推荐理由:该工作提出 DCDD 框架,在不重训预训练离散 Token VLM 的前提下利用采样前 Logit 分布提升生成图像保真度。

  12. arXiv · 机器人与计算机视觉68

    One Agent to Guide Them All:通过显式世界表征赋能 MLLM 进行视觉语言导航的研究

    该论文提出 GTA 框架,将低层空间状态估计与高层语义规划解耦,引入结合几何积累与导航历史的显式度量世界表征,并通过反事实分支推理修正决策。在 R2R-CE val-unseen 全量测试集上成功率为 48.8%,在 260 集英文子集上为 46.2%。研究还展示了该方法可迁移至轮式、四足及空中机器人。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。

  13. arXiv · 机器人与计算机视觉75

    Kelix:一种弥合离散与连续视觉表示理解差距的全离散自回归统一模型

    该研究报告了 Kelix 技术,旨在解决现有多模态大语言模型因混合接口导致的视觉理解偏差问题。材料指出当前离散视觉标记受限于码本容量而丢失信息,Kelix 通过全离散自回归架构填补了这一差距,实现了统一的自我监督学习与生成能力。

  14. arXiv · 机器人与计算机视觉68

    面向少样本 CLIP 的语言感知信息最大化方法

    针对基础视觉语言模型(VLM)中少样本学习尚处萌芽阶段的问题,本文提出一种名为 LIMO 的新型损失函数,整合了视觉输入与文本类描述的互信息、网络输出与零样本预测的 KL 散度惩罚以及基于标注样本的交叉熵损失。研究挑战了该场景下常见的微调实践并探索参数高效微调(PEFT)策略,实验表明该方法在少样本设置下大幅提升了性能,优于近期同类方法及最佳归纳式方法。代码已公开。

  15. arXiv · 机器人与计算机视觉75

    DeltaForge:首个用于多域自动驾驶的事后混合专家视觉语言动作模型

    针对各运营方独立微调导致难以合并的难题,本文提出 DeltaForge,这是据我们所知首个事后混合专家 VLA 架构。该方法利用不同微调更新间的共享结构,通过奇异值分解(SVD)将权重更新拆分为共享部分和极小的域特定部分;路由网络仅需处理这些微小片段而非全量专家权重,从而保持高效。

  16. arXiv · 机器人与计算机视觉72

    Zora:基于检索推测与硬件加速的高效 VLA 推理框架

    针对资源受限平台上视觉语言动作(VLA)模型的自回归生成延迟问题,本文提出了 Zora 软硬件协同设计框架。该方法利用轻量级检索增强生成(RAG)草案模型结合机器人动力学替代昂贵的神经网络草案模型,并通过运动学引导的动作接受策略与 KV-cache 共享注意力机制降低批验证开销。

  17. arXiv · 机器人与计算机视觉68

    Evaluating Physically Grounded Procedural Reasoning in VLMs through Real-World Execution: Crochet as a Testbed

    作者提出以钩针编织为物理测试床来评估视觉语言模型(VLM)的物理基础程序推理能力,因为该过程难以仿真且验证成本低。研究引入 FoundationChain 测试框架,通过手工执行四个 VLM 生成的 40 种钩针图案进行验证。结果显示仅有四个图案无错误,分析暴露了模型在视觉、几何和程序推理方面的缺陷。

  18. arXiv · 机器人与计算机视觉78

    基于情境变量的主动式社交机器人对话发起方法

    针对现有大语言模型在主动发起对话时缺乏情境感知的问题,本文提出了一套联合表征感知、情境和交互线索的情境变量架构,并构建了覆盖多样化日常场景的主动式对话开启语料数据集(CCO)。通过利用该数据集微调小语言模型(SLMs),研究展示了显式的情境结构化与针对性数据策展能显著提升对话发起的质量与时机恰当性。

    推荐理由:提出情境变量架构与专用数据集,微调小模型显著改善主动对话发起的质量与时机。

  19. arXiv · 机器人与计算机视觉28

    KR A1:集成个性化语音合成与情感响应的人形机器人交互原型设计

    KR A1 是一款整合个性化语音合成、上下文对话及情感感知响应生成的人形机器人交互原型,旨在探索心理健康护理应用。系统架构采用本地部署的 Qwen2.5-3B-Instruct 模型处理自然语言,结合 OpenVoice v2 实现零样本说话人自适应语音合成,并利用 InsightFace 进行人脸识别与 FAISS 向量检索支持个性化互动。

  20. arXiv · 机器人与计算机视觉57

    Process then Retrieve:探究视觉语言模型中模态差距的起源

    该论文调查了视觉语言模型(VLM)中模态差距的成因,发现文本嵌入层的语义密度远低于视觉嵌入层,导致早期网络层优先处理文本表示。研究通过机制分析证明,用语义最接近的文本令牌替换视觉令牌位置可增强早期层的注意力,这为改善多模态推理架构提供了基础洞察。

  21. arXiv · 机器人与计算机视觉75

    VLA 模型在真实与仿真数据下的适应:机器人下棋案例研究

    该论文针对 VLA 模型需为每个下游任务和机器人微调的问题,以 SO-101 机械臂移动国际象棋国王为例进行研究。研究发现,利用随机脚本专家生成的仿真演示进行预训练能显著降低对真实数据的依赖;同时指出学习率冷却对检查点比较至关重要,而验证损失和行动误差不可靠。作者开源了仿真器、专家策略及真实演示数据。

  22. arXiv · 机器人与计算机视觉78

    自然语言机器人车队控制的类型化计划正确性边界研究

    该论文考察了在自然语言机器人车队控制中,计划验证和执行报告所确立的内容。研究基于包含 20 个模拟机器人的三层 ROS2 实现,对 44 个离线基准案例进行了检查,发现无响应模式配置下 70.0%-87.3% 的响应通过测试。

    推荐理由:该预印本通过 ROS2 仿真验证了自然语言指令在机器人车队控制中的正确性边界,揭示了执行报告与原始任务要求不一致的潜在风险。

  23. arXiv · 机器人与计算机视觉42

    四款 VLM 在乳腺影像任务中置信度与解释的跨信号一致性评估

    针对视觉语言模型直接解读医学影像的趋势,研究者在两大数据集上对四款 VLM 进行了乳腺密度和 BI-RADS 分类评估。实验发现即使图像发生受控扰动,模型的置信度并未下降,且选项顺序改变会显著影响回答。部分模型存在自身推理与最终答案矛盾的情况,揭示了仅凭准确率无法捕捉的不可信风险。

  24. arXiv · 机器人与计算机视觉78

    面向语言条件双手动操作的执行感知任务规划方法

    论文提出一种零样本视觉语言框架,用于解决双足机器人在杂乱环境中执行自然语言操作任务的挑战。该方法将结构化场景表示与执行约束结合,在规划阶段即考虑物理可行性,并建立包含显式前后条件的并行双手动动作序列。

    推荐理由:该研究提出零样本视觉语言框架,将执行可行性推理融入任务规划,在双足机器人上验证了提升成功率与故障恢复能力。

  25. arXiv · 机器人与计算机视觉78

    Be My Eye:超越机器人自身视角的感知与协作方法

    针对多机器人协作中个体观测不足的问题,论文提出一种面向任务的主动上下文共享框架,将原始观测转化为紧凑表示以保留关键信息。该方法分两阶段训练:首先联合编码车载观测与任务指令生成紧凑上下文;其次将其集成到预训练的视觉语言动作策略中实现双向交互。实验显示在受限通信条件下性能显著提升,并在复杂双机器人真实场景中验证了有效性。

    推荐理由:提出面向任务的主动上下文共享框架,在受限通信预算下提升双机器人协作任务性能。

  26. arXiv · 机器人与计算机视觉48

    OASIS:带安全约束的优化感知子目标推理自主移动机器人导航框架

    OASIS 是一种分层导航框架,将模型预测控制器的优化结果反馈给软演员 - 评论家(Soft Actor-Critic)策略以生成子目标。该框架在包含静态与动态障碍物的五种场景中评估,相比层级及直接目标控制变体实现了最高的综合导航成功率。匹配对比显示其相对于无优化状态输入的相同层级架构具有持续的成功率优势,且主要优化失败更少、平均控制器时间相似。

  27. arXiv · 机器人与计算机视觉73

    Distilling Instructions into Weights:闭式编辑修复机器人策略的误读

    针对通用机器人策略在任务步骤中因指令误读而失败的问题,研究提出一种无需梯度、训练数据或修改指令的闭式权重编辑方法。该方法将显式重述指令对语言模型 MLP 权重的逐层效应蒸馏进网络,使 RoboLab 平台上的零样本策略成功率从 27 提升至 106(81 个修复成功,2 个破坏),且未对其他任务造成损害。研究还验证了该方法在动作专家或头部位置效果有限,并提供了开源代码与基准测试工具。

  28. arXiv · 机器人与计算机视觉73

    模块化定位中冻结视觉语言查询的选择失败诊断:Qwen2.5-VL 与 Qwen3-VL 对比分析

    该论文研究在模块化定位架构下,当冻结检测器生成的候选区域覆盖至少 99.8% 的 RefCOCO/+/g 查询时,VLM 选择机制的失效原因。研究发现 VLM 的图像条件化查询编码优于纯文本查询,但在分布外场景(如 Objects365)及推理基准上,基于冻结提案的选择策略性能显著低于直接解码坐标;此外,训练后的验证器仅退化为存在性探测,无法超越 VLM 的直接判断能力。

  29. arXiv · 机器人与计算机视觉82

    DASH:面向人形机器人灵巧操作的延迟无关视觉语言动作模型扩展

    论文提出 DASH(Decoupled Asynchronous System for Humanoids),通过异步解耦将 VLA 模型的慢速骨干与快速动作头分离,使控制频率仅取决于动作头。

    推荐理由:提出 DASH 异步系统解耦 VLA 骨干与控制头,在仿真与真机实验中保持高频控制率并提升灵巧操作成功率。

  30. arXiv · 机器人与计算机视觉78

    何时信任适配:用于可迁移视觉语言提示的上下文融合

    针对视觉语言模型在新类别或领域上的适配问题,该方法通过保留冻结与提示后的四分支预测,结合局部置信度与集合频率偏差进行仲裁。在 ImageNet 上训练后,其在十个跨数据集基准的平均准确率达 69.96%,刷新 ImageNet-S 记录至 52.21%,并在基类到新类的迁移任务中达到 79.77% 的新类别准确率。代码已公开。

    推荐理由:提出上下文自适应融合方法,在跨数据集基准上超越现有提示微调技术并刷新 ImageNet-S 记录。

  31. arXiv · 机器人与计算机视觉78

    PAIR:一种基于本体感知对齐的图像射线表示方法,用于提升操作任务的视角鲁棒性

    针对模仿学习中视觉输入随视角变化导致信号模糊的问题,本文提出 PAIR 框架,利用机器人本体感知(proprioception)将联合图像与射线表示进行对齐。该方法鼓励在相似机器人状态下、不同视角下的观测在表示空间中保持接近,从而为学习视角鲁棒的特征提供结构化先验。

    推荐理由:提出利用机器人本体感知对齐图像射线表示的对比学习框架,在仿真与真实场景中显著提升了对视角变化的泛化能力。

  32. arXiv · 机器人与计算机视觉56

    Streaming Failure Forecasting:部署后持续学习的 VLA 故障监测器

    论文提出 Streaming Failure Forecasting (SFF) 方法,解决视觉语言动作(VLA)策略离线训练、在线漂移后的监控失效问题。该方法固定离线网络,仅利用每集结果对输出层进行轻量级重拟合(Jetson CPU 核心耗时 2.18ms)。在仿真与真实 SO-101 机械臂的实验中,SFF 在未公告的任务或策略切换场景下,故障排序能力均优于冻结监控器及重置方案。