跳到正文
11月3日周二
  1. arXiv · 机器人与计算机视觉66

    A-TPT:面向视觉语言模型测试时提示微调的角度多样性校准方法

    论文提出 A-TPT 框架,旨在解决现有测试时提示微调(TPT)方法中类间文本特征角度分离不足的问题。该方法通过在单位超球面上最大化特征对的最小成角距离,促使归一化文本特征分布均匀,从而在保持准确率的同时显著降低校准误差。

  2. arXiv · 机器人与计算机视觉72

    SpecPrune-VLA:通过动作感知自推测剪枝加速视觉语言动作模型

    论文提出 SpecPrune-VLA,一种无需训练的、两层级的动作感知自推测剪枝方法,旨在解决现有 VLA 加速方法忽略全局上下文导致成功率下降的问题。该方法结合局部信息与全局历史静态减少视觉 token,并基于层重要性动态剪枝,同时根据末端执行器速度区分粗细粒度动作以调整剪枝强度。

  3. arXiv · 机器人与计算机视觉42

    多机器人信念空间规划框架与简化算法:应对不一致信念与有限数据共享的正式保证方案

    针对多机器人系统中信念不一致且通信受限场景,该研究提出具备形式化性能保证的去中心化 MR-BSP 算法。基础算法 VerifyAC 通过三步验证确保联合动作一致,失败时触发通信;扩展版 R-VerifyAC 及简化版 R-VerifyAC-simp 进一步减少通信次数并显著降低计算时间。理论保证已在离散仿真中证实,并在连续高维空间下实现了真实多机器人主动视觉 SLAM 实验结果。

  4. arXiv · 机器人与计算机视觉82

    Uni-LaSpec:面向视觉语言模型的负载自适应推测解码方法

    论文提出了 Uni-LaSpec 框架,通过复用验证器注意力机制和接受度感知训练优化草稿质量,并利用边际成本准则动态分配验证结构以适应不同 GPU 负载。实验显示该方法在六种视觉语言模型上平均保留超过 98.6% 的接受率,吞吐量提升最高达 5.11 倍,并在多种负载场景下优于固定验证策略。

    推荐理由:该工作提出负载自适应推测解码框架,在六种大模型与十七项基准测试中验证了其在不同 GPU 负载下的效率提升。

  5. arXiv · 机器人与计算机视觉73

    大语言模型智能体能否通过观看教程视频进行学习?

    本文介绍 Tutorial Agentic Learning(TAL),一种无需参数更新的非参数化持续学习范式,通过两阶段对抗过程将教程视频整合为持久化的结构化记忆库,并在推理时利用目录树进行检索。研究构建了 VidLearn 基准,基于 72 个国际象棋教程视频,结果显示 TAL 在训练和测试集上分别比基线模型提升 113% 和 91%,且在双人实战中 69% 的对局开局阶段表现更强。

  6. arXiv · 机器人与计算机视觉48

    CheXPoT:后验视觉验证与修正 VLM 生成的放射学报告

    CheXPoT 框架通过程序化思维(PoT)对大语言模型生成的胸部 X 光报告进行事后视觉验证,移除无法在图像中定位的幻觉发现。该方法将 MedGemma-4B 的微平均精度从 19.2% 提升至 46.8%,F1 值从 23.0% 提升至 49.4%,并在 LLava-Med 和 MAIRA-2 等模型上均实现显著增益。

  7. arXiv · 机器人与计算机视觉42

    CalVLA:通过结果监督塑造视觉语言动作策略的原生置信度

    CalVLA 利用成功与失败的回放数据,在不引入辅助故障检测器的情况下,仅用低秩适配器微调 OpenVLA-7B 以预测任务失败。在 LIBERO-10 基准的独立测试集中,适配后的置信度将联合故障判别 AUROC 从 0.4485 提升至 0.7392±0.0480,但平均任务成功率由 58% 降至 55%。

  8. arXiv · 机器人与计算机视觉78

    FineCraft:面向细粒度操作的 VLA 模型增强框架

    论文提出了 FineCraft 框架,通过任务路由混合策略独立适配 DINOv2-DiT 或预训练 pi_0.5 策略,利用局部视觉特征识别指令对象部分,结合演示与专家续写教学动作,并在执行中根据新观测进行重规划。该框架在 MetaFine Challenge 中综合得分 0.878,排名第四且五项任务均超越官方参考基准。代码已开源。

    推荐理由:该框架在 MetaFine Challenge 中排名第四,展示了预训练模型在细粒度操作任务上的适配效果。

  9. arXiv · 机器人与计算机视觉58

    VLALagBench:理解 VLA 推理延迟何时及为何重要

    本文介绍 VLALagBench 基准,用于研究视觉语言动作(VLA)模型的推理延迟敏感性。研究发现即使仅 100 ms 的延迟也能使移动目标任务成功率减半,且异步执行虽能部分恢复成功率但会增加请求频率。作者构建了经验模型,利用有限校准数据预测任务成功率,均方根误差仅为 5.7-7.8%,旨在指导算法与系统的协同设计。

  10. arXiv · 机器人与计算机视觉75

    超越策略补丁:将强化学习专家蒸馏为视觉语言动作策略

    针对 VLA 策略在短周期高精度操作阶段失效的问题,本文提出 REPAIR 框架,通过离线初始化与在线优化结合的方式,将轻量级 RL 专家的能力蒸馏至单一流匹配 VLA。该方法利用 RL 专家的监督分布训练 VLA,最终移除专家控制器实现独立部署。实验显示,REPAIR 在六项真实机器人任务中均达到 100% 成功率,且末端执行器抖动低于专家辅助执行水平。

  11. arXiv · 机器人与计算机视觉85

    HeLM:面向非马尔可夫操作的层次化显式语言记忆

    针对现有视觉 - 语言 - 动作(VLA)模型依赖马尔可夫假设导致长程任务失败的问题,本文提出 HeLM 框架,通过分层事件检测与触发式记忆更新维护任务相关历史。

    推荐理由:提出分层显式语言记忆框架,在非马尔可夫任务中显著降低显存并提升成功率。

  12. arXiv · 机器人与计算机视觉78

    MAPO:一种用于通用类人运动跟踪的混合专家交替策略优化方法

    针对混合专家(MoE)策略在政策梯度更新中因动态路由导致旧版与新版策略发散误估的问题,本文提出 MAPO 方法,通过交替优化路由器与专家网络来避免该误估。实验显示,MAPO 能持续跟踪 PPO with MoE 失败的 182 个运动样本,而后者仅能跟踪 MAPO 失败的 1 个样本。该方法在对比方法中取得了最高的跟踪成功率及最低的跟踪误差。

    推荐理由:提出 MAPO 方法解决 MoE 策略梯度更新中的发散误估问题,在通用类人运动跟踪任务上显著优于 PPO with MoE。

  13. arXiv · 机器人与计算机视觉83

    基于能量的策略编排:一种用于动态高维任务的模块化策略调度框架

    针对分层控制在接触、平衡或扰动快速变化时固定规划器接口失效的问题,本文提出 EPO 方法,通过为每个低层策略学习复合能量模型来实时选择最优的策略 - 目标对。该方法允许在不重新训练现有策略的情况下融入新策略,并在仿真中改善了精度与鲁棒性的权衡,同时展示了在真机人形行走操作任务上部署冻结策略与能量模型的可行性。

    推荐理由:提出基于能量的策略编排方法,在仿真与真机人形操作任务中提升模块化策略的可行性与鲁棒性。

  14. arXiv · 机器人与计算机视觉82

    Gnomon4D:基于几何运动的视频 - 动作联合建模研究

    论文提出 Gnomon4D 世界动作模型,通过 GeoDelta 几何运动场显式编码物体与机器人点的跨帧位移和深度变化,结合 InSAttn 注意力机制聚焦任务相关交互区域。

    推荐理由:该工作提出 GeoDelta 几何运动场与 InSAttn 注意力机制,在仿真基准上超越最强基线,为理解物理交互提供新范式。

  15. arXiv · 机器人与计算机视觉82

    Lie Routing Vision Language Models for View-Robust 3D Understanding

    该论文针对多模态大语言模型在多视角 RGB 观测中存在的“视角诱导的语义漂移”现象,提出了 LieVLM 框架。该方法通过提取几何 token 预测局部旋转参数和路由系数,利用封闭形式的 Padé--Cayley 映射对投影视觉特征进行身份相对校正并门控回原特征,从而在保留预训练语义与直接空间上下文的同时学习视角依赖的特征调整。

    推荐理由:提出 LieVLM 框架,利用李群路由机制解决多视角语义漂移问题,在多项 3D 理解任务上优于传统融合方法。

  16. arXiv · 机器人与计算机视觉83

    Scene-Adaptive Readout and Decoding in Diffusion Driving VLAs

    针对扩散驱动视觉语言动作模型(Diffusion driving VLAs)在每个去噪阶段重复执行骨干网络导致的高推理成本问题,本文提出一种场景自适应读出与解码框架。

    推荐理由:提出场景自适应读出与解码框架,在 Waymo E2E 基准上推理加速最高达 6.0 倍,同时提升轨迹预测质量。

  17. arXiv · 机器人与计算机视觉58

    具身视觉语言模型是否真的使用其场景图记忆?

    针对具身智能体在路线问答任务中如何有效利用场景图记忆的问题,本文提出一种图交换测试法来诊断视觉语言模型(VLM)是否真正依赖该记忆。研究发现在两条至七条房间的路线基准上,文本形式能显著提升回答准确率,而标准池化或延迟融合方式下的图编码则无法被模型利用;仅当为每个节点分配独立输入 token 时才能部分恢复效果。

  18. arXiv · 机器人与计算机视觉18

    Benchmarking Vision-Language Models for Urdu Nastaliq Handwriting Recognition 评测报告

    针对乌尔都语纳斯塔利克手写体识别难题,研究在 UNHD 数据集上对 Tesseract、UTRNet-Large 及六款 VLM 进行零样本基准测试。结果显示两款商业模型错误率低于开源与印刷体专用模型,其中一款商业模型甚至拒绝转录极难图像而非猜测。此外,VLM 修正 OCR 输出的增益有限,仅当输入文本来自 UTRNet 时提升显著(17.9% 至 21.9%)。

  19. arXiv · 机器人与计算机视觉48

    通过人机回环反馈实现外骨骼辅助策略的递归自改进框架研究

    该研究提出一种利用智能体自动生成控制代码并通过人类反馈自主演进外骨骼辅助策略的闭环框架。实验使用 GPT、DeepSeek、GLM 和 Kimi 四模型评估,单次迭代后所有模型均实现有效辅助,相比无外骨骼状态,肱二头肌与肱三头肌激活度分别降低 29.4% 和 35.2%。研究指出当前策略对突发情况适应性有限,需进一步提升鲁棒性与安全性。

  20. arXiv · 机器人与计算机视觉78

    MoPort:一种面向运动的视感二维接口

    论文提出 MoPort,旨在让运动语言模型(MoLMs)直接处理单目视频的二维观测数据。方法引入成对视角对齐(PVA)和相机调制编码(CME),以解决从 2D 到 3D 的维度差距及视角变化带来的歧义。

    推荐理由:提出 MoPort 方法解决单目视频三维动作建模的视角与深度歧义问题,在 HumanML3D 等基准上优于现有基线。

  21. arXiv · 机器人与计算机视觉74

    VLMs Read Aloud:揭示视觉文本模型在识别与使用之间的差距

    论文发现视觉大模型能逐字转录图像中的文字却无法有效利用,存在‘读用差距’。提出的 ALOUD 方法将视觉分辨率用于寻找证据、语言 token 用于处理信息,在不保留原文的情况下,使 Qwen3-VL-8B 在压缩 5 倍的长文档上准确率从 27.7% 提升至 54.8%,接近原始文本的 58.5%。

  22. arXiv · 机器人与计算机视觉78

    See, Think, Use:诊断 VLM 感知与推理失败的协议

    作者提出 See, Think, Use 协议,用于追踪视觉语言模型的每个回答是源于感知、推理还是利用感知信息。该协议通过定位探针和文本替换探针测量“看”与“想”,并利用反事实图像对计算“用”的比率。在两个模型家族和六个数据集上验证显示,当模型回答违背常识先验时,强制其先进行定位可修复此类失败;按阶段分配计算资源能以更低成本接近最佳均匀策略。作者将开源代码、提示词及每问输出。

    推荐理由:该协议通过额外提问诊断 VLM 的感知与推理失败阶段,无需访问模型权重即可指导测试时计算分配。

  23. arXiv · 机器人与计算机视觉35

    通过横截反馈线性化实现带状态与输入约束的气动机械臂双路径跟踪

    该研究提出一种二次规划控制器,解决携带三自由度机械臂的四旋翼飞行器在联合动力学下的双路径跟踪问题。控制器在 Drake 物理引擎中验证了当两路径均保持不变时,通过降低末端执行器速度化解冲突的可行性。代码与动画已公开,系统满足关节限位、奇异位规避及执行器安全约束。

  24. arXiv · 机器人与计算机视觉83

    服务代理型机器人集群:工作负载特征、KV 缓存抖动与准入控制

    该研究量化了由 GPT-6-Astra、RPent 和 pi0.5 生成的 80 个 LIBERO-PRO 任务集的工作负载,发现视觉语言大脑的长上下文 KV 缓存会挤占动作策略的执行资源。在 H800 GPU 上,静态并发上限可将吞吐量从约 2.4 提升至 5.00-5.55 任务/分钟,并满足严格的动作截止时间要求。

    推荐理由:论文量化了多机器人集群中视觉语言大脑与动作策略的并发资源冲突,提出基于工作负载特征的准入控制原则。

  25. arXiv · 机器人与计算机视觉76

    无需训练的快速执行:低延迟下视觉语言动作模型的保路径时间缩放

    论文提出 Path-preserving Time Scaling (PTS),一种针对冻结动作分块策略的无需训练执行层。该方法将机器人运动视为参考路径的时间重参数化,通过解码器确定性地处理重规划并进入推理消耗进度,同时保持机械臂速度以匹配夹爪移动速率。

    推荐理由:提出无需训练的 PTS 执行层,解决 VLA 模型推理延迟导致的停顿与低速问题,在 LIBERO 基准上显著提升吞吐量。

  26. arXiv · 机器人与计算机视觉82

    Auriga 技术报告:面向零样本具身操作的通用代理框架

    该研究提出 Auriga,一种任务无关的代理框架,旨在解决视觉语言模型作为机器人策略时的规划 - 执行鸿沟问题。在 RoboDojo 平台上,Auriga 无需目标任务试错或重置即可消除 68.3% 的执行差距,使 GPT-6 Astra 的成功率从参考控制界面的 22.5% 提升至 76.2%,并在榜单上以 57.7% 的成功率和 64.0 分排名第一。

    推荐理由:报告提出 Auriga 代理框架,在零样本操作任务中显著缩小规划与执行差距,提升 RoboDojo 榜单成功率。