Qwen3-VL-8B-Instruct 视觉注意力头发现研究揭示源与任务对选择的影响
针对 Qwen3-VL-8B-Instruct,研究发现注意力来源和查询类型比语料库更能重塑选出的头部,其中指代 + 查询跨度组合在必要性上显著优于其他配置。然而,该模型未发现具有特定可引导性的头部,其表现与随机匹配头部无差异。研究据此提出了一套报告视觉头部发现的标准化协议以规避评估陷阱。
针对 Qwen3-VL-8B-Instruct,研究发现注意力来源和查询类型比语料库更能重塑选出的头部,其中指代 + 查询跨度组合在必要性上显著优于其他配置。然而,该模型未发现具有特定可引导性的头部,其表现与随机匹配头部无差异。研究据此提出了一套报告视觉头部发现的标准化协议以规避评估陷阱。
针对大语言模型生成的符号计划在几何落地后可能因时空约束冲突而不可行的问题,该研究提出了一种由几何验证器介导的多 LLM 协调架构。实验在 CARLA 仿真环境和 Crazyflie 空中机器人上评估了任务复杂度增加时的协调性能,对比了集中式推理与去中心化协调策略在语义规划与物理可执行性间的权衡。
针对目标小、遮挡或视觉不明显的室内导航难题,该研究提出利用设备发出的 Wi-Fi 信号作为空间线索进行导航的方法。作者构建了 WiFiSpaces 仿真环境以支持闭环策略学习中的姿态依赖观测,并开发了 ViFiNav 定位感知导航框架,通过融合深度观测与动态更新的源估计实现自主行动。
FallGown 是一款由充气气囊构成的软体可穿戴支撑结构,旨在防止老年人跌倒。该设备便携(存储重 6.9 kg),穿戴平均耗时少于 2.5 分钟,脱卸少于 0.5 分钟。单用户测试显示,配备 12 个气囊和直径 1.4 米底座的配置除一次机械故障外成功预防了所有跌倒。
针对现有 VLA 评估忽视空间描述可靠性的问题,作者发布了 Spa-Bench 真实机器人基准,涵盖物体状态、相对大小等六类桌面任务。研究在 SO-101 机械臂上收集了 4,092 个回合数据,对比发现模型在分布内配置成功率为 67.5%-73.3%,而在分布外配置降至 40.7%-52.0%,表明当前 VLA 虽能执行操作但缺乏稳健的空间定位能力。
针对需满足访问点顺序的无人机 - 地面车团队,该研究提出联合规划路线与时序的多项式时间算法。系统在考虑无人机续航限制、移动充电及传输任务时,通过允许减速机制确保顺序约束,并在有界扰动下最小化任务完成时间。数值对比验证了该方法在解决 NP-hard 问题上的可行性与计算复杂度优势。
该研究提出了 MeMoREval 基准,用于在受控体验请求协议下评估具身智能体的记忆模态选择对任务成功率及推理成本的影响。基准涵盖 53 个任务,覆盖四个室内仿真环境,结果显示存储帧比生成描述具有更低的写入推理成本,而结合场景图的帧存储实现了最高的综合任务成功率。研究还验证了该协议在物理机器人上的可行性,并探讨了经验积累、选择性保留等扩展方向。
上海人工智能实验室推出决策模型‘书生·明决’(Intern-Decision),包含0.8B、2B、4B三档参数版本。该模型将原生视觉感知与指令遵循融为一体,在单卡RTX 4090环境下实现每秒约30次决策的响应速度,端到端时延比Jev快2倍以上。
推荐理由:上海AI实验室推出原生视觉决策模型书生·明决,在端侧推理速度与多模态任务质量上超越Jev等开源基线。
针对大语言模型驱动的多智能体系统部署中运行时审计器面临的验证轨迹数据有限且难以扩展的问题,本文提出 Dream2Discern 方法。该方法通过隐式增强策略,利用审计器自身的预测损失生成困难潜在变体样本,从而在不收集新轨迹或进行额外结果验证的情况下扩充训练语料。
该论文研究如何通过环境缩放增加智能体基准的难度,同时保持核心任务目标不变。提出的 Recursive Environment Scaling (RES) 框架通过变换信息访问、资源关系和执行依赖来生成相关环境,并经过执行 grounded 检查验证。
论文提出 TabWM(Tabular World Model)和 WorldRel,旨在从观测到的执行中推断系统行为并生成可执行的关系统一世界。TabWM 利用未见世界的执行记录作为上下文,在不更新参数的情况下预测由新动作引起的稀疏结构化编辑。
推荐理由:提出 TabWM 与 WorldRel,在未见执行下通过上下文推断系统状态变更,支持递归想象未来以优化动作序列。
该论文提出 ANTE 框架,旨在构建能够知晓过去、当前状态及下一步行动结果的代码世界模型。针对现有编码智能体缺乏前瞻性的问题,该方法通过真实执行验证策略的预动作预测,利用 Belief-Anchored Policy Optimization (BAPO) 将预测转化为每步优势,并引入 ANTE-TTO 在推理时选择候选动作。
论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。
Harness 自进化的效果取决于模型能否遵循其引导,但研究发现强模型的有益技能对弱模型可能有害甚至降低性能。为此,作者提出技能适配方法,利用外部重写器诊断工具执行、上下文管理等失败原因并蒸馏为固定元技能,在不依赖执行证据的情况下将通用技能改写以匹配执行者能力。实验显示该方法在七种不同能力的执行器上均提升了自进化循环的最终得分,为开发更有效的 Harness 自进化提供了设计指导。
推荐理由:原文发现通用技能对弱模型有害,提出通过元技能诊断失败并适配技能以匹配执行者能力的方法。
论文 BridgeWAM 提出一种名为 BoE 的架构,利用 32 个潜在桥接查询聚合视觉、语言和本体感觉先验,实现视频专家与动作专家的解耦训练。该方法在 LIBERO 基准上达到 98.25% 的成功率,LIBERO-Plus 池化成功率为 72.24%,并将仿真推理 FLOPs 降低 28.72%,真实机器人延迟降至 77.1ms。材料为预印本版本,未提及开源仓库或具体部署许可。
该研究构建 DriveMind 大规模驾驶视觉问答数据集与训练免费探测工具,发现视觉语言模型中的推理过程并非规划轨迹的因果驱动因素,而是自回归生成的副产品。实验表明移除自车或导航先验会导致规划分数大幅下降,而移除思维链(CoT)仅产生微小变化,证实了推理与规划的脱钩现象。
针对现有世界模型缺乏显式持久结构记忆的局限,本文提出了 WorldWeave 框架,将世界状态维护与视觉渲染解耦。该框架结合持续高程图生成与智能体引导的场景组织拼接,构建可扩展的显式三维世界以增量扩展结构记忆并保留既有结构。
World-Ego Model(WEM)通过解耦场景演化与机器人行为,在 HTEWorld 基准上实现了长视界导航 - 操作任务的最优性能。该模型结合角色条件注意力视觉语言状态预测器与非对称查询预算的语义路由混合专家扩散生成器,有效兼顾了场景一致性与指令遵循精度。研究构建了包含 12.5 万视频片段(超 450 万帧)及 300 条多轮评估轨迹的 HTEWorld 数据集以支持严格评测。
视觉语言模型在空间推理上仍显脆弱,本文提出 Spatial Alignment via Geometric Evolution (SAGE) 框架,利用几何与语言对偶操作及动态操作池机制,在 GRPO 训练中实现模型的自进化以增强推理鲁棒性。实验显示该方法在视频和空间推理基准测试中表现优于强基线,且具备模型无关性和数据高效性。
论文介绍 MultiWorldBench 这一基于 Minecraft 的多玩家世界模型诊断基准,包含 495 种配置及七套任务套件。评测显示 Gamma-World 在十项能力平均得分最高(21.39),Solaris 次之(20.88),MineWorld 最低(1.89),而参考引擎 Engine GT 得分为 91.69。
该研究通过控制通道引入噪声,构造性证明了在含障碍的欧氏域及无边流形上可实现全局渐近稳定。数值实验验证了该方法在圆形障碍物场景及二维球体上的有效性,并分析了非凸障碍物下噪声强度对系统亚稳态的影响。
arXiv 论文介绍 LeWAM,这是一种基于去解码器 JEPA 潜空间的 Transformer 架构,支持前向、反向动力学及策略预测。实验表明其潜在表示能更好对齐机器人状态并忽略视觉干扰,且闭环评估性能匹配同规模流匹配策略,同时具备世界模型能力。
WorldAlign 提出解耦 4D 奖励框架,通过几何先验优化静态区域、利用 VLM 评估动态主体,在无需人工偏好标注下实现在线后训练。该方法在 Wan2.1 和 Wan2.2 两个预训练图像转视频生成器上联合提升了静态与动态一致性,且未抑制整体或主体运动。
该论文作为 ECCV 2026 研讨会报告,总结了 Perception Test 挑战赛第四版的结果。研究聚焦空间智能,包含原有的统一与 grounded 视频问答赛道,以及新增的城市级步行旅游视频赛道(KilometerAudio 和 KilometerVision)。
LIVIN 是一个针对空间感知和具身智能的基准测试数据集,由 30 个不同居住型住宅的数字孪生构建而成。这些副本保留了观察到的房间布局、家具配置和日常物品摆放。
针对自主漫游器在大尺度非结构化环境中进行全局规划时,稠密网格代价地图搜索计算成本高的问题,本文提出了 STAG 方法。该方法将代价地图转换为紧凑的稀疏图,结合中轴线拓扑骨架、代表均匀可通行区域的节点以及靠近强可通行性梯度的过渡节点。
该论文针对自回归视频扩散模型存在的‘中远期遗忘’问题,提出 Memory Forcing 方法,通过划分缓存区域和动态重索引技术,在固定显存下保留中间事件信息。实验显示该方法在 1.3B 参数规模下长片段表现领先,且成功扩展至 Wan2.2 5B 模型,生成了更具物理合理性和动态性的视频,是目前该方向首个公开的 5B 模型。
Jiwon Park 等人提出 2DGS-Planner,解决传统高斯泼溅图中个体原语难以可靠表征障碍物的问题。该方法在离线建图阶段利用多视角归因将渲染法线色散转化为结构分数以指导地面节点采样,并通过正交与圆柱查询验证候选边及估计局部净空场;在线规划时结合机器人尺寸与地面约束进行路线初始化与细化。
论文提出 ALONE 方法,这是一种贝叶斯空间世界模型,通过执行动作传播结构化空间信念并利用选择性观测进行修正。该方法在无人机导航任务中实现了按需观测策略,仅在可靠性不足时请求新深度图像观测。
FloorSAV 框架通过渲染动态二维地平面图,将点云、相机轨迹及语义地标注入视听大语言模型(AV-LLM),实现视觉、听觉与几何线索的单次联合推理。该方法在 SAVED-Bench 和 SAVVY-Bench 基准测试中显著提升了空间推理性能,验证了引入准确空间信息对具身智能的价值。项目页面已公开,相关代码与数据许可状态待定。
针对同质多机器人在探索等任务中难以区分的难题,该论文提出融合 LiDAR、UWB 里程计的全分布式位姿估计方法。系统仅通过车载 UWB 交换里程计数据即可精准定位队友,无需 WiFi 或 Mesh 网络等额外通信基础设施。仿真与真实世界实验均验证了该方法在动态跟踪匿名集群及可靠数据关联方面的有效性与可靠性。
论文提出一种感知空间频率的隐式神经表示(INR)框架,通过结合多层感知机(MLP)分支与柯尔莫哥洛夫 - 阿诺德网络(KAN)分支来互补建模不同频率成分。MLP 分支负责低频平滑结构,KAN 分支补充局部变化与精细细节。
论文提出了 VGGTWorld-VLA,作为 VGGT-World 的意图条件化扩展,旨在解决现有方法在自动驾驶中未来演化对驾驶意图和动作依赖不足的问题。研究引入了动作 - 语义条件机制,将互补的驾驶语义与自车运动表征注入未来 token 流,使同一观测场景在不同自车动作下产生不同的未来几何预测。
iAm.md 是一个基于大语言模型泛化能力的 Markdown 标准与生成框架,旨在解决具身智能中的“接地失败”问题。该框架利用开放词汇语义映射结合视觉 - 语言检测与对象分割,将机器人行为生成功能转化为代码生成问题以支持技能自我评估。研究在模拟 TIAGo 平台上针对导航与操作任务验证了该技术对可执行任务泛化的支撑作用。
论文提出 SLVR 框架,旨在解决多模态大模型过度依赖语言先验的问题。该方法将显式思维链与潜变量推理结合,通过掩码答案文本并对比视觉干扰项进行训练,随后对规划、定位、证据选择和整合四个阶段分别施加监督信号。基于 Qwen2.5-VL-7B 的 SLVR 在 MMVP 和 BLINK Relation 等基准上取得显著提升,证明了结构化潜变量监督能在避免推理开销的同时增强细粒度视觉推理能力。
推荐理由:提出 SLVR 框架,通过结构化潜变量监督实现规划、定位与证据选择分离,在 Qwen2.5-VL-7B 上提升多模态推理基准表现。
论文介绍 SpatialOPSD,一种基于策略的自我蒸馏框架,旨在让多模态大语言模型(MLLM)将外部工具生成的已验证执行痕迹内化为内部的空间思维链(CoT),从而摆脱对推理时外部依赖的开销。该方法利用重复掩码与不似然正则化来缓解特权信息泄露问题。实验表明,在空间及分布外数据集上,SpatialOPSD 的平均准确率优于监督微调(SFT)和 GRPO,展现出更强的性能与泛化能力。
现有空间推理基准主要测试对输入中可见关系的感知,而真实世界需要预测性空间推理以构建场景并推演干预后的未见结果。该研究引入 SpaceCast-Bench 基准,基于观察 - 转换 - 推断框架,涵盖 182 个现实场景中的 3,862 个问题及 16 种任务类型。
针对视觉语言模型在空间推理上的不足,该研究提出几何特权蒸馏(GPD)方法。该方法利用 3D 扫描数据中的深度、语义和鸟瞰图线索作为几何证据,通过问题条件路由将其与参考答案一同输入教师模型进行自蒸馏,并仅对错误轨迹应用特权 KL 散度以增强 GRPO。
NVIDIA 开发者利用 GPT-6 Astra 等前沿模型结合 Omniverse 库,通过自然语言指令构建可编辑的 3D 资产、测试机器人拆解及数字孪生场景。实验涵盖使用 Houdini 与 Isaac Sim 生成动画、在 Onshape 中配置 CAD 模型以及分析燃气轮机工况,实现了从概念到仿真应用的快速转化。
针对现有可微决策树在时序规划上的局限,研究引入时间维度并通过动作分块与参数高效重构算法优化策略。实验显示,从蒸馏后的动作分块策略热启动的模型,在四个仿真环境中匹配神经网络策略性能的同时,参数量减少高达 80%。代码已公开于 GitHub,为具身智能的可解释性提供新路径。