工具是带来能力提升还是仅作为辅助?多模态智能体能力增益溯源分析
该研究对比了 Thyme 和 DeepEyesV2 两个多模态智能体在有工具与无工具设置下的表现,发现工具调用并未显著降低生成 token 成本或提升整体解决率。消融实验表明,仅凭工具调用痕迹无法证明模型真正利用了工具提供的关键信息,建议评估时区分工具可用性与实际能力扩展。
推荐理由:研究发现工具调用痕迹并不等同于能力增益,多数模型在有无工具下表现差异不大。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
该研究对比了 Thyme 和 DeepEyesV2 两个多模态智能体在有工具与无工具设置下的表现,发现工具调用并未显著降低生成 token 成本或提升整体解决率。消融实验表明,仅凭工具调用痕迹无法证明模型真正利用了工具提供的关键信息,建议评估时区分工具可用性与实际能力扩展。
推荐理由:研究发现工具调用痕迹并不等同于能力增益,多数模型在有无工具下表现差异不大。
论文提出 SSR 框架,旨在解决人形机器人在非结构化地形上的安全高效移动难题。该方法通过自监督学习结合想象落脚点引导,预测摆动脚接触点并评估支撑稳定性以减少滑倒;同时利用等变潜在空间对称性增强实现高维视觉下的双侧协调,并结合特定地形的多判别器运动先验鼓励类人行为。实验表明 SSR 在楼梯、宽缝隙和高台等极端挑战下均能实现安全稳定的长时程穿越。
推荐理由:提出端到端框架 SSR,利用想象落脚点引导与对称性增强实现人形机器人在复杂地形的稳定行走。
针对基础模型(如 SAM)在多样化真实光照下实例分割性能下降的问题,本文提出了 Lighting Convolutional-Attention (LCA) 适配器模块。
推荐理由:提出轻量级适配器模块 LCA,无需微调即可提升分割模型在复杂光照下的鲁棒性。
论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。
推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。
针对 Vision Transformer 归因方法依赖局部近似或输入扰动的局限,本文提出 Causal Attribution via Activation Patching (CAAP)。该方法通过在不同层间将源图像激活插入中性目标上下文,直接评估内部表征对预测的贡献。实验表明,CAAP 在多种 ViT 骨干网络中均能产生更忠实且定位准确的归因图,优于现有梯度、相关性传播及注意力基线方法。
推荐理由:提出通过激活打补丁直接干预内部表征的归因方法,在多种 ViT 骨干网络中表现优于现有梯度或扰动类基线。
论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。
推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。
针对多模态模型在任务适配后加入拒答机制可能丢失正确答案的问题,本文提出了 ReFrain(无回归拒答)方法。该方法结合首 token 对数概率线性探测、图像簇阈值校准及确定性否决机制,在替换被拒绝输出为“以上都不是”选项的同时保留所有其他响应。
推荐理由:提出 ReFrain 方法,在保持微调增益的同时显著提升不可回答问题的正确拒绝率。
论文提出状态条件不变性(SCI)原则,要求视觉语言模型在保持语义不变的呈现变化下保持稳定,同时能响应改变任务结果的因果干预。作者构建了 GridWM-Judge 基准,利用确定性 MiniGrid 轨迹生成全量、证据移除及反事实变体,结合呈现与表征探测进行诊断评估。
推荐理由:提出状态条件不变性原则,构建基于确定性轨迹的仿真基准以诊断多模态模型作为裁判时的感知与因果敏感性。
该研究提出一种生物学合理的概率模型,假设特征推断与组织成有意义部分的推断(即分割)相互耦合。模型通过递推和反馈在自然图像输入下迭代推断特征与分割,诱导神经表征中的动态变化。
推荐理由:提出概率模型解释早期视觉皮层动态,预测增益与变异性衰减,为迭代计算推理成本提供理论视角。
该研究针对世界动作模型(WAMs)需注入低维机器人信号的难题,提出 MetaWAM 方法,将姿态、动作等信号折叠进单一频域通道并通过逆 DCT 提升,无需增加模块即可对齐预训练视频扩散模型的先验。在 RoboCasa 基准上成功率达 68.9%,推理延迟降低 39%;在三项真实 Franka 任务中成功率为 85.0%。代码与模型已公开。
推荐理由:提出 MetaWAM 统一接口,将机器人信号折叠进单一频域通道,无需额外模块即可对齐预训练视频扩散模型的先验分布。
该论文针对世界动作模型(World-Action Models)迭代视频去噪带来的高推理开销问题,提出 Elastic-WAM 方法。该方法通过自适应分配时空细化计算资源,统一调控何时停止世界细化、每步推进多远以及刷新哪些区域。研究在多样化仿真基准和真实长程操作任务中评估,结果显示其兼具最先进的控制性能与更低的推理延迟。材料为预印本论文,未提及具体开源代码或模型权重下载链接。
推荐理由:提出弹性计算分配机制,在仿真与真实长程操作中实现控制性能领先且降低推理延迟。
针对现有系统缺乏对信息收集过程有效性的监测问题,本文提出了 Acquisition-State Telemetry (AST),一种无需训练即可评估信息获取状态的架构。
推荐理由:提出无模型架构 AST,通过实时监测信息获取摩擦与进展信号,帮助自主系统在任务完成前识别无效停滞并优化策略。
arXiv 论文介绍 Stylus,一种无需额外训练的面部风格化框架。该方法将风格迁移视为在预训练扩散模型潜在流形上的测地线导航,通过降低离散测地能量实现内容 - 风格的平滑融合与空间自适应风格注入。实验表明,Stylus 在保持身份和内容的同时实现了较强的风格化强度。
推荐理由:提出无需训练的框架,将面部风格迁移建模为扩散模型潜在流形上的测地线导航。
论文提出了 LaST0.5 这一新型世界动作模型(WAM),旨在解决现有模型全球场景表征忽视局部机器人 - 物体交互的问题。该模型在混合 Transformer 架构中引入交互中心潜在专家,利用视觉交互线索学习紧凑的潜在空间,并通过自适应的世界到动作转移机制调整执行与重采样。
推荐理由:提出 LaST0.5,通过引入交互中心潜在空间弥合世界演化与操作生成的表征差距。
论文指出当前大视觉语言模型虽能保护通用隐私(如信用卡号),但缺乏对个性化、上下文相关隐私的保护能力。为此,作者提出了首个系统性评估框架 SPY-Bench,包含 32,700 个样本和针对用户指令的度量标准。
推荐理由:提出首个 ITP3 基准 SPY-Bench,揭示主流大模型个性化隐私保护能力不足,并给出噪声对比对齐方法将准确率提升至 96.88%。
arXiv 预印本介绍 MEOW 框架,这是首个将非交互式分割骨干网络转化为交互式开放世界学习者的方法,且无需更新可学习模型参数。该框架结合无参归纳推理与记忆巩固机制,在医疗数据上持续改进对未见类别的预测,并实现跨微 CT 等模态的零样本迁移。
推荐理由:提出无需更新参数的交互式开放世界学习框架,在医疗影像上实现未见类别的持续改进与跨模态零样本迁移。
针对视频理解中采样帧是否提供足够证据的问题,作者提出了 EVAThink 框架以增强模型的自适应思考能力。该方法首先通过可恢复的证据差距挖掘构建稠密与稀疏视图对,筛选出稀疏视图需显式推理的样本进行监督;随后利用证据引导的两阶段强化学习优化回答模式偏好并提升首 token 效率。
推荐理由:提出证据充分性引导训练方法,仅需少量样本即可提升视频理解模型在固定帧数下的回答模式选择与推理效率。
论文针对预训练图像生成器在语言引导的无人机(UAV)分割中存在的‘渲染与表达目标选择’不匹配问题,提出 DroneSegEdit 框架。该方法结合 RGB 提议渲染与语言接地的提议约束验证机制,利用冻结的多模态大模型骨干网络读取分层状态以推导空间证据,从而在不引入前景外区域的情况下选择支持的主体。
推荐理由:该工作提出 DroneSegEdit,利用语言接地验证解决无人机分割中的实例匹配问题,在 RIS-LAD 数据集上刷新 SOTA。
本文提出 SeProRS 框架,将传统的视觉中心遥感场景分类重构为仅基于文本的任务:利用视觉语言模型生成图像对应的‘语义代理’文本描述,再经文本嵌入模型进行分类。研究在三个主流数据集上验证了该方法能保留显著判别信息,同时揭示了纯文本理解的局限性。论文建立了可复现的基准并分析了提示策略与生成器的影响,旨在探索高效模态缩减的理解方向,而非替代现有图像方法。
推荐理由:提出仅用文本语义代理进行遥感场景分类的新范式,建立统一基准并量化纯文本理解的可行性边界。
针对仅凭少量正常参考图像进行逻辑异常检测的任务,现有基于大视觉语言模型的方法存在文本检查与单一原始图像的感知错位问题。本文提出 CASCADE 框架,通过引入约束特定的视觉支架来改善验证准确率;其进阶版 CASCADE++ 进一步在物体层面适配这些支架。
推荐理由:该工作提出无需训练的 CASCADE 框架,通过约束特定的视觉支架解决大模型在逻辑异常检测中的感知与推理错位问题。