跳到正文
10月20日周二
  1. arXiv · 机器人与计算机视觉48

    SPELUNKA:一种无需微调即可发现视觉语言模型检索任务中意外分布偏差的推理框架

    SPELUNKA 是一个自动化推理框架,能在无预定义子群、无人工监督及模型微调的情况下,自动识别视觉语言模型在检索任务中的意外分布偏差。该方法通过生成相关图像描述提取实体,并基于频率检测规则衡量属性在模型输出与全数据集分布间的过代表或欠代表现象。实验显示,SPELUNKA 在四个数据集上平均 AUROC 达 0.93,成功恢复合成与自然发生的虚假相关性,且优于基线方法发现强关联特征。

  2. arXiv · 机器人与计算机视觉72

    如何能剪多少?探索视觉 Token 剪枝的性能极限

    本文针对视觉语言模型中的视觉 Token 剪枝技术,提出了一种名为 QA-MBG 的新方法,旨在探索剪枝性能的理论上限而非仅优化特定算法。该方法将剪枝定义为在固定预算下选择一个共享的视觉 Token 子集以支持对图像的广泛问题分布,利用前沿 VLM 生成的辅助问答集近似效用,并通过冻结评估模型优化教师强制回答概率目标。

  3. arXiv · 机器人与计算机视觉65

    REAP:从运动规划器反馈中学习通用重排启发式

    论文提出 REAP 框架,通过关系图神经网络在简单符号抽象上学习启发式函数,并由运动规划器监督揭示隐藏的几何先决条件。该方法结合贪婪最佳优先搜索,在物体数量、计划长度和排列方式等分布外场景泛化良好,相比经典启发式搜索和学习基线解决更多问题,所需运动规划查询量减少约一个数量级,且首选动作在 94% 采样状态下具有几何可行性(随机选择仅为 22%)。

  4. arXiv · 机器人与计算机视觉38

    Same Space or Not:通过跨视角矛盾评测空间智能的基准

    针对现有基准无法发现偏离真实视图的问题,研究引入包含千问问题的跨视角矛盾解析基准。人类准确率达 83.3%,而最强视觉语言模型仅为 39.7%;即使提供真值相机信息,解决准确率也仅升至 48%。结果表明跨视角矛盾解析是当前 VLMs 的显著弱点,需针对性监督改善。

  5. arXiv · 机器人与计算机视觉73

    Vocabulary-Incomplete Unsupervised Vision-Language Model Adaptation

    在获取标注数据成本高昂的场景中,视觉语言模型(VLM)可利用图像文本相似度生成伪标签进行无监督适配,但现有方法假设拥有包含所有类别名称的完整词汇表。本文提出 VI-UVA 框架,解决仅部分类名可用的问题:通过 Label Space Reconstruction (LSR) 从无标注数据重建潜在标签空间并融入提示微调,从而超越不完整词汇表的限制并减轻适应偏差。

  6. arXiv · 机器人与计算机视觉78

    ContraSafe-VL:面向视觉语言模型的对比式安全偏好数据集发布

    作者发布了 ContraSafe-VL 数据集,旨在解决视觉语言模型在多模态安全对齐中视觉上下文监督不足的问题。该数据集为固定文本查询构建了对应的成对视觉情境以区分不同安全标签,并提供基于无害性与有用性的响应偏好对。实验表明,使用该数据集训练能提升跨模态安全识别能力并改善安全与过度拒绝之间的权衡,同时保留通用多模态能力。

    推荐理由:该数据集针对多模态安全对齐中视觉上下文监督不足的痛点,通过构建成对视觉情境与响应偏好对,直接指导模型平衡安全性与过度拒绝。

  7. arXiv · 机器人与计算机视觉44

    任务充分主动感知:移动操作机器人何时决策的混合神经符号框架

    针对未知环境中机器人需判断信息是否充足再行动的挑战,研究提出一种概念性混合神经符号框架。该架构在解析任务后生成初始计划并迭代重评,支持获取新视角、检查物体或请求用户澄清等动作。系统将在由类人躯干与移动底盘组成的移动操作机器人上实现,并在仿真环境中进行互补评估。

  8. arXiv · 机器人与计算机视觉58

    VLM 作为自主无人机导航副驾驶的压力测试与时序可靠性研究

    该研究评估将视觉语言模型集成到自主无人机导航时的时序瓶颈与操作权衡。通过在高性能工作站和受限笔记本上的压力测试,发现轻量级模型易产生破坏确定性状态机的结构幻觉,而重型模型因推理延迟导致轨迹过校正。研究表明中权重架构能在不同硬件配置下恢复退化环境的导航能力,同时保持实时稳定性。

  9. arXiv · 机器人与计算机视觉58

    基于信息增益和人类认知特征的模糊机器人指令自适应提问生成方法

    针对服务机器人自然语言指令中的歧义性问题,研究提出一种结合概率判别效率与人类认知特征的自适应提问机制。该方法利用视觉语言模型提取候选物体属性,计算各属性的信息增益以消除不确定性;当信息增益相同时,依据人类认知特征筛选用户最易直观感知的视觉属性(如颜色、形状),并生成简洁的自然语言问题。

  10. arXiv · 机器人与计算机视觉83

    DUET:面向任务无关的人形机器人上下肢执行解耦框架

    该论文介绍 DUET 框架,通过仅在机器人接口处结合指令,使下肢运动控制器(基于强化学习)与上肢操作控制器独立运行。实验在宇树 G1 硬件上验证了该方法,展示了与 GR00T N1.7 和 pi0.5 两个不同模型配对的兼容性。

    推荐理由:该研究提出 DUET 框架,实现下肢运动与上肢操作的解耦控制,支持在不重新训练平衡策略的情况下更换视觉语言动作模型。

10月19日周一
  1. arXiv · 机器人与计算机视觉42

    NEXUS:联合维护 PDDL 域模型与 LTL 安全规范的具身规划框架

    NEXUS 是一个模块化神经符号框架,通过利用执行失败修复动作模式并将检测到的危害转化为可复用的 LTL 约束,解决了大语言模型在具身智能中物理不可行或危险的问题。在 SafeAgentBench 评估集上,该框架实现了安全任务完成率与不安全任务拒绝率之间的最佳权衡,并在越狱攻击下保持了低违规率。消融实验证实了 PDDL 域细化与 LTL 约束积累的互补优势。

  2. arXiv · 机器人与计算机视觉76

    前沿视觉语言模型能否作为记忆依赖型操作的机器人策略?

    该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。

    推荐理由:该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。

  3. arXiv · 机器人与计算机视觉82

    Analytic Robot Self-Model:一种无需变形网络或 CAD 模板的解析式机器人自建模方法

    论文提出 Analytic Robot Self-Model,该方法利用多视图图像和关节读数建立高斯外观模型并推断刚体连杆分配,同时通过稀疏末端执行器位姿独立识别度量螺旋轴。

    推荐理由:提出无需变形网络或 CAD 模板的解析式机器人自建模方法,通过多视图与关节读数显式学习运动学参数。

  4. arXiv · 机器人与计算机视觉75

    OpenDexGrasp:面向开放词汇的任务导向灵巧抓取研究

    论文提出了 OpenDexGrasp 框架,旨在解决机器人需从自由形式语言推断功能意图并结合多视角视觉观测生成可执行高自由度抓取的挑战。该工作构建了包含 OpenDex-Scale(大规模语义与几何覆盖)和 OpenDex-Align(高质量具身对齐)的双源监督数据集,采用 Coverage-to-Alignment 配方进行训练。

  5. arXiv · 机器人与计算机视觉82

    Monkey See, Can Monkey Do?:一项用于通过观察学习机器人技能的评测基准

    针对从人类视频中学习操作技能难以横向比较的问题,作者提出 RoboReel 统一评测基准。该基准包含捆绑的真实世界人类演示视频、仿真机器人轨迹及十个操作任务的评估环境。

    推荐理由:提出 RoboReel 统一基准,涵盖真实演示视频、仿真轨迹与十项操作任务,评估视觉语言动作模型在抗干扰及长程任务上的表现。

  6. arXiv · 机器人与计算机视觉78

    ADEPT:利用预训练和后训练的强化学习加速灵巧性

    论文介绍 ADEPT 框架,旨在通过大规模强化学习在多自由度机器人本体上实现从原始视觉 - 触觉感知直接求解长视界任务的 sim-to-real 灵巧性迁移。该方法先在通用物体放置任务上预训练灵巧策略,再以后训练下游策略,解决了多指机器人难以从零发现新行为的问题。

    推荐理由:论文提出 ADEPT 框架,通过预训练与后训练结合强化学习解决多指机器人灵巧操作难题,并开放了相关代码。

  7. arXiv · 机器人与计算机视觉82

    解析视觉语言动作模型在接触丰富任务中的失效原因与修复方法

    针对视觉语言动作模型(VLA)在处理需要精确物理交互的接触丰富任务时表现不佳的问题,该研究识别了精度失效和力失效两种主要模式,并提出 FACT 方法进行改进。FACT 通过在后期训练增加低噪声采样以优化精细动作预测,并引入结构化力条件引导动作生成。在涵盖近 2,500 次真实世界部署的评估中,该方法在五类接触丰富任务上的平均成功率达到 66%,优于最佳基线方法的 41%。

    推荐理由:该工作通过 FACT 方法在接触丰富任务中将成功率提升至 66%,为理解 VLA 失效模式及改进提供了新视角。

  8. arXiv · 机器人与计算机视觉68

    诊断序列机器人任务中的组合泛化能力

    该论文研究了序列机器人操作中的组合泛化问题,将泛化差距分解为边际指令偏移、指令组合偏移和上下文动作偏移三个来源。研究结果表明,无需穷举所有指令元组,只需覆盖与动作相关的依赖结构即可恢复强大的分布外性能;仅用每个任务一个演示的微调即可将分布外成功率从 0.4% 提升至 54.7%。材料为预印本论文,提供了诊断稀疏训练集有效性的框架及项目网站上的额外结果、代码和数据集。

  9. arXiv · 机器人与计算机视觉82

    FELT:从视觉生成触觉信号以支持视觉 - 触觉操作

    FELT 是一个利用现有成对视觉 - 触觉数据学习接触感知表征的框架,通过冻结视觉编码器和独立的查询解码器为下游策略提供生成的触觉图像或接触感知特征。在四项富接触的真实机器人任务实验中,直接融入学习到的接触感知特征使成功率提升 15-22.5 个百分点,证明了该方法无需真实触觉硬件即可提升操作性能。

    推荐理由:该框架利用视觉数据生成触觉表征,在四项真实机器人任务中使成功率提升 15-22.5 个百分点。

  10. arXiv · 机器人与计算机视觉75

    NativeMEM:一种用于长视界机器人操作的本地内存压缩方法

    针对预训练视觉语言动作模型难以兼顾长时序视觉历史与高效性的问题,该研究提出 NativeMEM 框架。其核心是 Native Memory Compression 方案,利用 VLA 自身的视觉编码器将多路摄像头的历史帧压缩为单个 token 并追加至输入序列,使模型能以极低延迟关注长期记忆而无需外部规划器或新初始化模块。

  11. arXiv · 机器人与计算机视觉75

    TORINO:基于可解释概念重叠的视觉语言模型 Token 减少方法

    该研究针对视觉语言模型计算成本高、视觉 Token 数量大的问题,提出 TORINO 框架。该方法无需微调底层模型,利用稀疏自编码器将视觉 Token 投影到可解释潜在空间,通过定义概念重叠度对共享语义内容的 Token 进行分组,进而执行剪枝或合并操作。实验表明,TORINO 能根据输入复杂度动态调整压缩率,在显著减少视觉 Token 数量的同时保持最小性能损失。

  12. arXiv · 机器人与计算机视觉75

    学习对 VLA 说什么:一种无害的视觉语言动作模型引导框架

    针对视觉语言动作模型指令映射脆弱且难以可靠执行的问题,作者提出一种无需微调预训练模型的交互式搜索框架。该方法将优化后的语言序列蒸馏为测试时语言反馈策略,并引入改进头预测引导效果,通过共形化方法防止在分布外场景下性能下降。实验显示,在仿真环境中任务成功率提升 24.7%,硬件实验中提升 65.0%。

  13. arXiv · 机器人与计算机视觉78

    NVRD:一种用于评估 VLM 与人类对新视觉概念映射能力的基准数据集

    论文提出 Novel Visual References Dataset (NVRD),包含 19,176 张图像,涵盖 90 个不同新颖度级别的视觉概念及扰动版本。研究对比了 3 款开源、2 款闭源模型与 2,400 名人类判断者,发现模型在违背预训练知识时难以通过上下文学习新概念,且存在显著过泛化现象,会将标签扩展至人类拒绝的样本。该数据集作为基准供人机视觉概念学习研究使用。

    推荐理由:作者发布全新数据集 NVRD,用于评估模型在违背预训练知识时的新概念学习及泛化能力。

  14. arXiv · 机器人与计算机视觉65

    通过 Jailbreak 相关表征偏移理解与防御 VLM Jailbreaks

    大视觉语言模型(VLM)在整合视觉模态后安全对齐减弱,图像能显著提升 Jailbreak 成功率。研究发现 VLM 能区分良性输入与有害输入,且 Jailbreak 样本在内部状态上与拒绝样本可分离;Jailbreak 并非源于无法识别有害意图,而是视觉模态将表征推向特定 Jailbreak 状态导致拒绝失效。

  15. arXiv · 机器人与计算机视觉82

    面向机器人技能学习与适应的高斯过程方法

    针对现有强化学习方法难以应对大环境变化导致表达力不足的问题,本文提出一种利用稀疏中间点(via-points)和轨迹导数保持运动学特征的新型高斯过程技能自适应框架。该方法包含优化、行为克隆和强化学习三种适应策略,在抽屉开启、推立方体和杆件操作三个任务中,仿真与硬件实验均优于所有基准,且能保持高运动学相似度和低速度误差。

    推荐理由:提出基于高斯过程的技能自适应框架,在仿真与硬件上优于基准。

  16. arXiv · 机器人与计算机视觉42

    Decomposing Visual Classification:评估 VLMs 中的树状推理能力

    针对细粒度任务表现不足的问题,该研究提出将视觉分类分解为可解释决策的框架,在 GTSRB 和 CIFAR-10 数据集上测试发现,尽管模型理解树知识的准确率达 98.2%,但基于树的推理性能始终低于标准零样本提示。通过引入大语言模型生成的类别与图像描述增强提示词,有效提升了两种方法的对齐效果,揭示了结构化推理在视觉分类中的局限性并为设计可解释系统提供思路。

  17. arXiv · 机器人与计算机视觉72

    视觉语言动作模型中的置信度校准研究

    Thomas P Zollo 和 Richard Zemel 在 TMLR 发表的研究首次系统分析了视觉语言动作(VLA)基础模型的置信度校准问题,建立了评估基线并揭示了任务成功率与校准误差的关系。作者提出了提示词集成(prompt ensembles)和行动级 Platt 缩放两种轻量技术来修正观察到的校准偏差,旨在通过可靠的量化不确定性使 VLA 行为更加可信。

  18. arXiv · 机器人与计算机视觉57

    ECHOES:通过递归历史压缩与特权在线策略蒸馏超越当前图像

    论文提出 ECHOES 框架,解决长视界 GUI 智能体依赖视觉历史导致成本高或文本摘要丢失关键信息的问题。该方法利用训练时的特权多图像输入作为教师模型,对基于 Compression-Think-Action (CTA) 格式生成的学生模型进行 token 级在线策略蒸馏,并通过感知 - 记忆保真度差距指导动态平衡。

  19. arXiv · 机器人与计算机视觉78

    并非所有提及都是主张:重新思考视觉语言模型的物体幻觉检测

    该研究指出视觉语言模型评估中常将‘提及’等同于‘声称存在’,导致对非断言性描述(如‘供人坐的长椅’)产生误判。作者提出 NAME-Bench 基准,包含五款 VLM 生成的两万五千余条标注数据,区分了具体、幻觉与非断言提及四类标签。实验显示现有检测器将 14% 至 80% 的非断言提及错误标记为幻觉,且在较新模型上通过负样本训练进行修正的难度显著增加。

    推荐理由:NAME-Bench 基准揭示当前幻觉检测器将非断言性提及误判为幻觉,且在新模型上修正代价高昂。

  20. arXiv · 机器人与计算机视觉38

    TRACO:通过闭环优化增强视觉语言动作模型的视觉任务重定向攻击

    TRACO 框架提出执行驱动监督与进度引导选择机制,解决固定目标监督在物理状态演化时的失配问题。实验表明该方法在多模型及仿真环境中提升了任务重定向成功率,揭示了闭环攻击优化的安全风险。该研究为提升 VLA 模型安全性提供了新的优化视角。

  21. arXiv · 机器人与计算机视觉58

    基于理由引导的人类奖励建模用于偏好强化学习

    该文提出一种基于轨迹反馈的偏好强化学习(PbRL)框架,通过学习人类奖励模型来优化任务奖励可能产生的行为偏差。该框架不仅利用偏好标签,还引入解释行为偏好的“理由”标签,使学到的奖励能同时捕捉人类选择及其底层逻辑。相比仅依赖偏好的方法,这种设计提供了额外的监督信号,提升了策略的可解释性、对人类意图的对齐度以及对偏好的敏感性。

  22. arXiv · 机器人与计算机视觉68

    Look Before You Act:通过观测对齐数据适应桥接主动感知与视觉语言动作模型

    论文针对机器人操作杂乱物体时主动相机运动导致初始观测状态分布偏移的问题,提出 ActiveAlign 框架。该方法利用学习到的视点模块生成相机轨迹,离线通过闭环对齐将轨迹终点连接至现有演示并保留成功续集进行微调;部署时仅需在 VLA 策略前加入该模块而不修改架构。

  23. arXiv · 机器人与计算机视觉78

    超越成功率:视觉语言动作系统中记忆的干预式评估

    针对机器人记忆系统仅凭成功率无法验证任务相关事实有效性的问题,本文提出了干预式记忆评估协议(IMEP)。研究在检索接口对比了目标事实替换与事实保留替换的效果,并引入 ChainBench 基准测试历史信息的必要性。实验显示,跨集学习库中特定干预改变了 11.9% 的结果,而完整记忆配置将任务成功率从 39.1% 提升至 74.3%,证实了正确历史信息对决策的支持作用。

    推荐理由:提出 IMEP 协议与 ChainBench,证明记忆系统需通过事实特异性干预评估而非仅看成功率。

  24. arXiv · 机器人与计算机视觉84

    LAW:统一语言、动作与世界建模以服务于代理物理智能

    论文提出了 LAW 框架,通过语义子任务进度将语言推理、动作生成和世界建模统一起来。其混合专家视觉语言模型负责规划剩余子任务并融合世界动作模型的提议,同时异步评估执行状态;世界动作模型利用 Transformer 专家混合架构进行视频与动作联合建模。

    推荐理由:该工作提出 LAW 框架,在 RoboTwin 基准上达到 95.56% 成功率并开源 OpenWAM-alpha,展示了语言推理、动作生成与世界建模的统一路径。

  25. arXiv · 机器人与计算机视觉73

    CatchUp:一种用于高效大视觉语言模型的深度感知视觉令牌重准入方法

    针对大视觉语言模型在处理视觉令牌时计算与内存成本高的问题,该研究提出了一种无需训练的 CatchUp 框架。该方法通过深度感知的机制重新评估查询条件化的视觉相关性,仅处理选定的视觉令牌,并利用参考轨迹信号近似缺失的表示演化,从而在减少活跃视觉令牌数量的同时保持高性能。

  26. arXiv · 机器人与计算机视觉58

    CoEvolve:从技能到策略的人形机器人自我演化代码政策

    该论文提出 CoEvore 框架,将多机器人团队协作表示为固定运动技能的代码,利用多模态基础模型实例化协调策略并通过物理执行进行验证与修正。实验在 Unitree G1 人形机器人仿真环境中完成刚性负载运输任务,展示了跨骨干网络经验初始化下的协作能力,同时指出了运动精度与接触稳定性的局限。