A-TPT:面向视觉语言模型测试时提示微调的角度多样性校准方法
论文提出 A-TPT 框架,旨在解决现有测试时提示微调(TPT)方法中类间文本特征角度分离不足的问题。该方法通过在单位超球面上最大化特征对的最小成角距离,促使归一化文本特征分布均匀,从而在保持准确率的同时显著降低校准误差。
论文提出 A-TPT 框架,旨在解决现有测试时提示微调(TPT)方法中类间文本特征角度分离不足的问题。该方法通过在单位超球面上最大化特征对的最小成角距离,促使归一化文本特征分布均匀,从而在保持准确率的同时显著降低校准误差。
论文提出 SpecPrune-VLA,一种无需训练的、两层级的动作感知自推测剪枝方法,旨在解决现有 VLA 加速方法忽略全局上下文导致成功率下降的问题。该方法结合局部信息与全局历史静态减少视觉 token,并基于层重要性动态剪枝,同时根据末端执行器速度区分粗细粒度动作以调整剪枝强度。
针对多机器人系统中信念不一致且通信受限场景,该研究提出具备形式化性能保证的去中心化 MR-BSP 算法。基础算法 VerifyAC 通过三步验证确保联合动作一致,失败时触发通信;扩展版 R-VerifyAC 及简化版 R-VerifyAC-simp 进一步减少通信次数并显著降低计算时间。理论保证已在离散仿真中证实,并在连续高维空间下实现了真实多机器人主动视觉 SLAM 实验结果。
针对视觉语言动作(VLA)模型在复杂障碍场景下无法保证安全执行的问题,本文提出一种后处理修复模块 Route-Guided CBF-QP Repair。该方法利用 VLA 预测的短期动作块检测被阻塞的名义轨迹,并生成绕过障碍物的进出重连引导路线。
论文提出了 Uni-LaSpec 框架,通过复用验证器注意力机制和接受度感知训练优化草稿质量,并利用边际成本准则动态分配验证结构以适应不同 GPU 负载。实验显示该方法在六种视觉语言模型上平均保留超过 98.6% 的接受率,吞吐量提升最高达 5.11 倍,并在多种负载场景下优于固定验证策略。
推荐理由:该工作提出负载自适应推测解码框架,在六种大模型与十七项基准测试中验证了其在不同 GPU 负载下的效率提升。
本文介绍 Tutorial Agentic Learning(TAL),一种无需参数更新的非参数化持续学习范式,通过两阶段对抗过程将教程视频整合为持久化的结构化记忆库,并在推理时利用目录树进行检索。研究构建了 VidLearn 基准,基于 72 个国际象棋教程视频,结果显示 TAL 在训练和测试集上分别比基线模型提升 113% 和 91%,且在双人实战中 69% 的对局开局阶段表现更强。
CheXPoT 框架通过程序化思维(PoT)对大语言模型生成的胸部 X 光报告进行事后视觉验证,移除无法在图像中定位的幻觉发现。该方法将 MedGemma-4B 的微平均精度从 19.2% 提升至 46.8%,F1 值从 23.0% 提升至 49.4%,并在 LLava-Med 和 MAIRA-2 等模型上均实现显著增益。
CalVLA 利用成功与失败的回放数据,在不引入辅助故障检测器的情况下,仅用低秩适配器微调 OpenVLA-7B 以预测任务失败。在 LIBERO-10 基准的独立测试集中,适配后的置信度将联合故障判别 AUROC 从 0.4485 提升至 0.7392±0.0480,但平均任务成功率由 58% 降至 55%。
现有 GUI 基准多依赖精确指令,而真实场景中用户指令往往模糊且依赖历史。本文介绍 MemU-Bench 基准,包含 118 个基于 29 条长轨迹的模糊任务,要求智能体从噪声交互流中提炼记忆并检索缺失上下文。
论文提出 D&A(Describe & Assess)方法,旨在解决现有框架中视觉语言模型(VLM)在机器人任务进度估计时的确认偏差问题。该方法将评估分为两个阶段:首先生成基于场景动态的客观文本描述以定义绝对成功标准,随后依据明确评分准则进行评估。
该论文提出了 TAMPAgent 框架,旨在解决开放世界中机器人移动操作面临的几何不确定性问题。研究将大视觉语言模型(LVLM)的推理能力与任务运动规划(TAMP)系统的结构化约束求解相结合,构建了一个基于可扩展 API 的信念空间规划模型。
本文发布了 ArmnetBench v0.1 数据集,收录了 3718 个在低成本 SO-101 机械臂上完成的真实机器人操作片段。数据涵盖 600 次遥操作演示和 3118 次策略 rollout,涉及 7 种模仿学习与视觉语言动作模型在 12 个桌面任务上的表现。
论文提出了 FineCraft 框架,通过任务路由混合策略独立适配 DINOv2-DiT 或预训练 pi_0.5 策略,利用局部视觉特征识别指令对象部分,结合演示与专家续写教学动作,并在执行中根据新观测进行重规划。该框架在 MetaFine Challenge 中综合得分 0.878,排名第四且五项任务均超越官方参考基准。代码已开源。
推荐理由:该框架在 MetaFine Challenge 中排名第四,展示了预训练模型在细粒度操作任务上的适配效果。
该论文提出 Behavioral Affinity Transduction (BAT) 方法,旨在解决零样本视觉语言模型(VLM)独立评分时忽略图像间关联的问题。
推荐理由:BAT 方法利用零样本 VLM 的类响应特征构建稀疏图,为冻结模型提供邻居证据以提升分类准确率。
本文介绍 VLALagBench 基准,用于研究视觉语言动作(VLA)模型的推理延迟敏感性。研究发现即使仅 100 ms 的延迟也能使移动目标任务成功率减半,且异步执行虽能部分恢复成功率但会增加请求频率。作者构建了经验模型,利用有限校准数据预测任务成功率,均方根误差仅为 5.7-7.8%,旨在指导算法与系统的协同设计。
针对 VLA 策略在短周期高精度操作阶段失效的问题,本文提出 REPAIR 框架,通过离线初始化与在线优化结合的方式,将轻量级 RL 专家的能力蒸馏至单一流匹配 VLA。该方法利用 RL 专家的监督分布训练 VLA,最终移除专家控制器实现独立部署。实验显示,REPAIR 在六项真实机器人任务中均达到 100% 成功率,且末端执行器抖动低于专家辅助执行水平。
针对现有视觉 - 语言 - 动作(VLA)模型依赖马尔可夫假设导致长程任务失败的问题,本文提出 HeLM 框架,通过分层事件检测与触发式记忆更新维护任务相关历史。
推荐理由:提出分层显式语言记忆框架,在非马尔可夫任务中显著降低显存并提升成功率。
针对混合专家(MoE)策略在政策梯度更新中因动态路由导致旧版与新版策略发散误估的问题,本文提出 MAPO 方法,通过交替优化路由器与专家网络来避免该误估。实验显示,MAPO 能持续跟踪 PPO with MoE 失败的 182 个运动样本,而后者仅能跟踪 MAPO 失败的 1 个样本。该方法在对比方法中取得了最高的跟踪成功率及最低的跟踪误差。
推荐理由:提出 MAPO 方法解决 MoE 策略梯度更新中的发散误估问题,在通用类人运动跟踪任务上显著优于 PPO with MoE。
针对分层控制在接触、平衡或扰动快速变化时固定规划器接口失效的问题,本文提出 EPO 方法,通过为每个低层策略学习复合能量模型来实时选择最优的策略 - 目标对。该方法允许在不重新训练现有策略的情况下融入新策略,并在仿真中改善了精度与鲁棒性的权衡,同时展示了在真机人形行走操作任务上部署冻结策略与能量模型的可行性。
推荐理由:提出基于能量的策略编排方法,在仿真与真机人形操作任务中提升模块化策略的可行性与鲁棒性。
论文介绍 RoboColosseum 分布式评估框架,结合统一策略服务与标准化协议,在网络中本地部署的多样化机器人上评估物理智能。初始研究对比了五种视觉语言动作模型和三种前沿 AI 代理在四种具身形态上的表现。
论文提出 Gnomon4D 世界动作模型,通过 GeoDelta 几何运动场显式编码物体与机器人点的跨帧位移和深度变化,结合 InSAttn 注意力机制聚焦任务相关交互区域。
推荐理由:该工作提出 GeoDelta 几何运动场与 InSAttn 注意力机制,在仿真基准上超越最强基线,为理解物理交互提供新范式。
该论文针对多模态大语言模型在多视角 RGB 观测中存在的“视角诱导的语义漂移”现象,提出了 LieVLM 框架。该方法通过提取几何 token 预测局部旋转参数和路由系数,利用封闭形式的 Padé--Cayley 映射对投影视觉特征进行身份相对校正并门控回原特征,从而在保留预训练语义与直接空间上下文的同时学习视角依赖的特征调整。
推荐理由:提出 LieVLM 框架,利用李群路由机制解决多视角语义漂移问题,在多项 3D 理解任务上优于传统融合方法。
针对视觉语言模型处理大量视觉 Token 带来的计算瓶颈,本文提出 SVD-Prune,一种无需训练的框架,利用奇异值分解和统计杠杆分数保留视觉表示的主低秩结构。
针对扩散驱动视觉语言动作模型(Diffusion driving VLAs)在每个去噪阶段重复执行骨干网络导致的高推理成本问题,本文提出一种场景自适应读出与解码框架。
推荐理由:提出场景自适应读出与解码框架,在 Waymo E2E 基准上推理加速最高达 6.0 倍,同时提升轨迹预测质量。
针对具身智能体在路线问答任务中如何有效利用场景图记忆的问题,本文提出一种图交换测试法来诊断视觉语言模型(VLM)是否真正依赖该记忆。研究发现在两条至七条房间的路线基准上,文本形式能显著提升回答准确率,而标准池化或延迟融合方式下的图编码则无法被模型利用;仅当为每个节点分配独立输入 token 时才能部分恢复效果。
该文针对具身问答任务中‘答案正确但未见’的问题,提出了一个包含 200 个测试集和 800 个问题的多房间基准。研究通过固定问题并仅改变证据供给(从纯文本探针到闭环智能体再到轨迹回放)来评估证据利用情况。
论文提出 ODE Policy 方法,利用神经常微分方程学习动作向量场以替代传统离散动作映射,确保执行轨迹连续且平滑。该方法在模仿学习中相比流匹配基准,单轮训练后成功率提升 5.9 倍、泛化能力提升 5.4 倍;在强化学习中加速 SuperMimic 并优化运动跟踪。
GatedVLA 作为 PAI-AV 赛道参赛方案,通过视觉掩码优化策略并在部署端集成规则式自动紧急制动(AEB)模块。该模型在包含 150 个场景的局部闭环评估中,将平均场景得分从 0.479 提升至 0.599,同时将负有碰撞责任的场景数由 34.0 降至 11.0。
针对乌尔都语纳斯塔利克手写体识别难题,研究在 UNHD 数据集上对 Tesseract、UTRNet-Large 及六款 VLM 进行零样本基准测试。结果显示两款商业模型错误率低于开源与印刷体专用模型,其中一款商业模型甚至拒绝转录极难图像而非猜测。此外,VLM 修正 OCR 输出的增益有限,仅当输入文本来自 UTRNet 时提升显著(17.9% 至 21.9%)。
该研究提出一种利用智能体自动生成控制代码并通过人类反馈自主演进外骨骼辅助策略的闭环框架。实验使用 GPT、DeepSeek、GLM 和 Kimi 四模型评估,单次迭代后所有模型均实现有效辅助,相比无外骨骼状态,肱二头肌与肱三头肌激活度分别降低 29.4% 和 35.2%。研究指出当前策略对突发情况适应性有限,需进一步提升鲁棒性与安全性。
论文提出 MoPort,旨在让运动语言模型(MoLMs)直接处理单目视频的二维观测数据。方法引入成对视角对齐(PVA)和相机调制编码(CME),以解决从 2D 到 3D 的维度差距及视角变化带来的歧义。
推荐理由:提出 MoPort 方法解决单目视频三维动作建模的视角与深度歧义问题,在 HumanML3D 等基准上优于现有基线。
论文发现视觉大模型能逐字转录图像中的文字却无法有效利用,存在‘读用差距’。提出的 ALOUD 方法将视觉分辨率用于寻找证据、语言 token 用于处理信息,在不保留原文的情况下,使 Qwen3-VL-8B 在压缩 5 倍的长文档上准确率从 27.7% 提升至 54.8%,接近原始文本的 58.5%。
作者提出 See, Think, Use 协议,用于追踪视觉语言模型的每个回答是源于感知、推理还是利用感知信息。该协议通过定位探针和文本替换探针测量“看”与“想”,并利用反事实图像对计算“用”的比率。在两个模型家族和六个数据集上验证显示,当模型回答违背常识先验时,强制其先进行定位可修复此类失败;按阶段分配计算资源能以更低成本接近最佳均匀策略。作者将开源代码、提示词及每问输出。
推荐理由:该协议通过额外提问诊断 VLM 的感知与推理失败阶段,无需访问模型权重即可指导测试时计算分配。
该研究提出一种二次规划控制器,解决携带三自由度机械臂的四旋翼飞行器在联合动力学下的双路径跟踪问题。控制器在 Drake 物理引擎中验证了当两路径均保持不变时,通过降低末端执行器速度化解冲突的可行性。代码与动画已公开,系统满足关节限位、奇异位规避及执行器安全约束。
该研究量化了由 GPT-6-Astra、RPent 和 pi0.5 生成的 80 个 LIBERO-PRO 任务集的工作负载,发现视觉语言大脑的长上下文 KV 缓存会挤占动作策略的执行资源。在 H800 GPU 上,静态并发上限可将吞吐量从约 2.4 提升至 5.00-5.55 任务/分钟,并满足严格的动作截止时间要求。
推荐理由:论文量化了多机器人集群中视觉语言大脑与动作策略的并发资源冲突,提出基于工作负载特征的准入控制原则。
论文提出 Path-preserving Time Scaling (PTS),一种针对冻结动作分块策略的无需训练执行层。该方法将机器人运动视为参考路径的时间重参数化,通过解码器确定性地处理重规划并进入推理消耗进度,同时保持机械臂速度以匹配夹爪移动速率。
推荐理由:提出无需训练的 PTS 执行层,解决 VLA 模型推理延迟导致的停顿与低速问题,在 LIBERO 基准上显著提升吞吐量。
该论文介绍 JADE(Joint Action DEnoiser),一种将预训练视觉语言模型(VLM)与扩散动作专家结合的新架构,使两者能联合细化动作而非仅静态条件化。
该研究提出 Auriga,一种任务无关的代理框架,旨在解决视觉语言模型作为机器人策略时的规划 - 执行鸿沟问题。在 RoboDojo 平台上,Auriga 无需目标任务试错或重置即可消除 68.3% 的执行差距,使 GPT-6 Astra 的成功率从参考控制界面的 22.5% 提升至 76.2%,并在榜单上以 57.7% 的成功率和 64.0 分排名第一。
推荐理由:报告提出 Auriga 代理框架,在零样本操作任务中显著缩小规划与执行差距,提升 RoboDojo 榜单成功率。
Chanho Kim 和 Soyun Choi 提交了 CoRL 2026 MetaFine 开放竞赛的参赛报告。该工作使用冻结 DINOv2 和 CLIP 编码器,结合可训练的语言条件特征调制与任务特定动作头,通过接触感知抓取过滤、指令匹配数据和插入失败专家修正优化演示。
本文介绍 ReSee 基准,包含 3,227 条视觉搜索轨迹和 8,827 个明确的提交或复查决策,利用反事实裁决区分需要额外检查与应直接提交的场景。