PerceptRL:让 MLLM 视觉感知可被奖励(从答案到交互)
针对多模态大语言模型后训练阶段视觉感知仍是瓶颈的问题,该研究提出 PerceptRL 框架以强化感知能力。该方法利用多智能体流水线从密集图像描述中提取验证错误,将其转化为具有固定答案标签和基于规则奖励的问答对;通过链式问答关联相关错误,多项选择题结合无关错误,并针对高错误域设置专用路由。
针对多模态大语言模型后训练阶段视觉感知仍是瓶颈的问题,该研究提出 PerceptRL 框架以强化感知能力。该方法利用多智能体流水线从密集图像描述中提取验证错误,将其转化为具有固定答案标签和基于规则奖励的问答对;通过链式问答关联相关错误,多项选择题结合无关错误,并针对高错误域设置专用路由。
论文指出 RGB 并非空间推理的最佳默认接口,引入 ImagiRep 基准在仿真环境中对比了包括深度、全景和俯视几何在内的七种表征形式对未观测状态的空间推理效果。研究发现仅生成准确的 imagined RGB 并不保证推理准确,而 GEARS 策略通过自适应选择表征能提升性能,表明处理未见状态需要超越单纯的 RGB 视图生成。
TimeLineXR 将 VLMs 内嵌的时间理解转化为可交互的 3D 场景,用户可通过 WebXR 上传图像并在贝塞尔时间轴上抓取、缩放与查询。系统利用 CLIP 编码与余弦核 KPCA 投影技术,使不同对象在时间轴上的落点及预估首年可直接可视化对比。
该论文针对隧道和矿井等受限空间中烟雾、粉尘导致雷达测距图不准的问题,提出 KEPT 方法。该方法利用无标签严重度估计对保形预测产生的禁区(keepout)进行条件化约束,在规划和控制层强制执行制动距离条件,仅以测量到的跟踪残差作为余量且不修改禁区边界。系统在基于地面机器人烟雾录像的验证和雾中隧道四旋翼飞行闭环仿真中表现优于标准部署模式,减少了进入校准禁区的次数并达到了更多数值目标。
该报告呈现了在自定义空间数据集上对三维感知视觉问答的两条端到端多模态适配流水线的实现与验证。第一条流水线微调 HiSpatial-3B,将 RGB 观测增强为度量尺度 3D 点图;第二条通过内存高效的 QLoRA 监督微调适配 Qwen3-VL。
针对强化学习策略在长时序中信息丢失问题,该工作提出基于 Hadamard 记忆的本地空间矩阵记忆(LSMM)架构。实验显示,LSMM 在自主迷宫探索任务中匹配了强基线的覆盖率,且是唯一能记住迷宫布局的架构,将重建误差降低了三倍。
该研究针对世界动作模型(WAMs)提出去噪反事实协议,通过位级可复现分支和保留随机数消除执行噪声,准确测量候选动作的真实增益。研究发现标准估计高估了原生样本的可选增益,而结构化动作扰动可创造高达 16 分的增益空间;在动作条件化想象中,想象未来与真实未来信息无损。基于此构建的选择器仅在预测失败时偏离策略,使闭环任务成功率从 76.9% 提升至 81.6%,未见任务中提升最大。
该论文提出一种针对搭载于航天器的混合软刚体机械臂的状态重构管线,其中远端连杆为腱驱动连续体机器人。问题被建模为基于关节编码器离散噪声测量和视觉感知管线的最大后验推理,并通过因子图转录以融合异构测量与刚柔运动学模型。
该研究针对多视图 3D 感知中 VGGT 模型全局注意力计算量大、长序列运行慢的问题,提出了一种无需训练的加速方法 GPA-VGGT。该方法通过用共享跨帧 K/V 集增强的帧注意力替换早期块的全局注意力,并在后续块中仅合并键值对同时保留所有查询,恢复被合并键代表的注意力质量,并将匹配度量随机投影至 128 维以降低计算成本。
推荐理由:提出无需训练的加速方法,在保持高精度几何估计的同时显著降低长序列推理成本。
论文提出 Omni-IGN,这是一个完全机载的图像目标导航系统,整合了四路鱼眼感知、注意力强化学习策略和碰撞安全层。系统在 Habitat 基准上优于连续动作基线,IsaacSim 飞行测试验证了结合学习型深度估计与安全层的避障有效性,真实世界实验实现了无需微调的外部定位零样本迁移。代码与模型检查点将在接收后发布。
论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。
推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。
arXiv 发布的技术报告介绍了 Hy-Nomas,这是一个基于 8B 扩散骨干的视频世界模型,支持多轮次交互中的自由文本指令与连续相机控制。其核心设计将结构化视频描述与动作感知因果注意力对齐,并通过视觉语言提示增强器处理多模态历史。研究展示了优于现有模型的评估结果,并开源了模型权重、代码、基准及轻量级适配工作流以支持可复现研究。
SWIM 提出一种利用逆动力学模型从离线轨迹中学习状态权重的方法,解决联合嵌入预测架构(JEPA)中视觉目标未显式融合任务相关状态信息的问题。该方法在五个机器人操作仿真任务中,相比均匀加权基线一致提升了基于图像的规划成功率,且无需额外推理计算。论文为预印本,代码与权重暂未开放。
论文提出 Motion-Guided Asymmetric Prediction (MoGAP) 方法,旨在通过联合预测未来视觉观测和动作来适配预训练视频生成模型以用于机器人控制。
LabWorld 是一个由智能体驱动的 Real2Sim 框架,能从单目 RGB 视频重建包含可复用 3D 资产、度量场景及时间变化状态的交互式 4D 实验室世界。
论文提出 PRISM-BENCH 基准,包含 1,000 个专家 curated 问题及理想化推理轨迹,用于诊断视觉语言模型在 grounding 和 faithfulness 方面的表现。
该研究提出一种将实测赛道点云转化为闭合、$C^4$可微三维表面模型的拟合流程。通过最小化积分曲率并约束边界与周期性的二次规划获取 MCL,有效避免紧弯处法向量交叉导致的参数化失效。最终曲面以用户可选高度的多项式描述截面高程,并以周期性分段五次 $C^4$ B 样条形式导出,适用于高保真 Modelica 赛车优化任务。
论文介绍 BoxWorld 框架,解决实时交互式视频世界中用户定义行为难以指定对象级规则的问题。该方法将交互推理与生成渲染分离,由代码代理构建世界引擎确定交互结果,再通过生成渲染器将状态流转化为视频。系统采用三阶段训练策略学习对象定位与状态转换,并在自生历史上进行蒸馏。作者提出了 PairedStateBench 基准用于评估细粒度交互控制能力。
该论文提出 GeoUG 统一模型,整合深度估计、多视图生成与空间理解任务。研究设计了多尺度深度编解码器以支持度量深度生成,并构建了 3DCueBench 基准以控制几何难度。
该论文提出 E0.5,这是一个以 3D 几何为原生基础的机器人世界 - 动作(WAM)模型,将 3D 几何作为世界建模与动作预测的核心表示。E0.5 在 RoboTwin 2.0 基准上无需具身数据预训练即可达到 89.90%(干净设置)和 50.09%(随机化设置)的成功率,并显式联合预测未来 3D 状态与动作。
推荐理由:该工作提出以 3D 几何为原生基础的 E0.5 模型,在 RoboTwin 2.0 上实现高成功率,并通过具身预训练显著提升真实机器人操作表现。
针对现有图像质量评估方法仅对齐静态基准且忽略下游任务的不足,本文提出一种基于多模态大语言模型(MLLM)的具身图像质量评估框架。该框架通过推理任务需求、定位质量证据并生成面向决策的评估,将 IQA 从分数回归转向由具身任务效用定义的目标条件判断。
ObjectTwin 提出一种基于扫描的测量协议,在冻结实例、相机及深度锚点等条件下仅替换物体表征以量化资产对应差距。实验显示,在两个室内 RGB-D 采集域和两种生成后端下,可见绑定生成的资产 MaskIoU 损失为 0.302-0.497。该研究确立了捕获对应关系作为衡量生成资产质量与物理评估之间独立接口的地位。
SO-101 Bench 是首个针对低成本 SO-101 机械臂构建的仿真基准,支持语言条件约束的空间操作任务。该基准在包含 138 个物体的模拟环境中评估了九种 VLA 及世界动作模型,发现最佳策略成功率近 61%,而结合代码生成与抓取策略的智能体可达 83.2%。尽管仿真成功率高估真实表现,但五类无实机数据训练的策略在物理臂上排名完全一致(Spearman rho = 1.00)。
Point One Navigation 创始人 Aaron Nathan 在 OpenCV Live! 231 中指出,自动驾驶、配送机器人及无人机等物理 AI 无法从原型走向部署,除非能在真实复杂条件下实现厘米级精准定位。该观点强调现有实验室设计难以应对现实环境挑战,位置信息是解锁大规模物理 AI 应用的核心要素。
该论文提出 A-RSI 方法,旨在解决递归自我改进中何时引入新经验的问题。系统通过监控训练日志中的奖励变化和准确率来动态刷新任务池,无需依赖验证集或测试分数。模型利用静态库生成多模态问题及参考答案,并自动验证属性与审计答案,整个训练循环不依赖外部示例或人工标注。在包含 11 个基准的测试套件上,该方法使用 800 个新任务将平均性能从 57.77 提升至 61.05。
针对流式视频理解中因信息不确定导致模型被动等待或产生幻觉的问题,本文提出 AskStream 基准,首次将“主动询问”作为第三种交互动作引入多轮对话框架。该基准涵盖 438 个视频及 2714 个人工标注的帧级时间窗口,包含等待、询问和回答三种状态,覆盖四个任务类别与八个子任务。
Hugging Face Daily Papers 收录了 arXiv:2610.37919 论文,介绍了 SciGame 基准。该工作将科学文献转化为结构化卡片,构建包含真实历史定律和反事实环境的任务接口,评估智能体在识别与发现设置下的表现。实验表明,熟悉先验会损害规律改变后的性能,自适应策略对强模型有益但可能伤害弱模型,且解释性好的回答可能掩盖定量失败。
iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。
推荐理由:该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。
AutoVend 是一个基准测试框架,用于评估大型语言模型(LLM)代理在长周期自主售货业务中的表现。该研究构建了一个数据驱动的仿真器,模拟了包含共享仓库、采购提前期、付费补货、库存过期及运营成本在内的复杂环境。
上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。
推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。
本文介绍 JRDB-AVR 基准和参考方法 JRDB-AVR-Agent,旨在解决当前视觉推理评测忽视主动证据获取的问题。该基准基于真实世界 JRDB 机器人数据构建,要求智能体接收问题后主动请求特定时间戳和视角的观测,并评估最终答案与支撑证据的一致性。实验显示现有基线存在答案准确但缺乏依据的现象,表明需要引入主动感知评估。代码与基准已开源。
针对可微模拟器中不连续动力学导致的偏差问题,本文提出 DDCG 轻量级测试以在 nonsmooth 区域切换估计器,并引入 IVW-H 每步逆方差实现来稳定方差。实验表明,尽管切换估计器能提升鲁棒性,但在实际部署中细致的方差控制往往起主导作用。
CaGMulA 提出一种本地部署管道,结合视频语言模型、结构化目录检索及弃选感知决策策略,仅在证据充分时生成标题与艺术家归属。在 VideoLLaMA2 和 Qwen2-VL 的四种配置下测试显示,保守开放生成覆盖率为 0%,而闭集目录检索实现 100% 覆盖且正确率 62%,混合验证模式将覆盖率降至 50% 但正确率提升至 78%。
论文介绍 Asking the World (ATW),一种构建并质询任务相关可执行世界的通用智能体,包含世界建模与世界探测两个自适应阶段。系统利用 PolyWorld Engine 引擎和 CEM 方法识别动力学,将视频信息转化为主动实验工作区而非预定工具。
该论文提出 CognitiveReality 系统,将机器人的 RGB-D 流转化为由算子共享的实时语义索引高斯-TSDF 地图,支持通过配置适配不同平台。系统在定位中断时利用影子跟踪器和关键帧锚定 PnP 维持鲁棒性,并通过验证过的类型化工具将语音和控制器射线映射到持久化场景对象上。
针对现有方法每款机器人单独训练导致运动经验隔离的问题,该研究提出 X-WBC 框架,将相对共享的人体运动语义与本体特定的物理执行分离。通过人体中心指令 token 对齐全量人体运动、机器人参考运动及稀疏 VR 观测,利用因果 Transformer 从混合多机器人 rollout 中学习可复用时间结构,并通过轻量级本体特定模块映射到各机器人的本体感知与动作空间。
推荐理由:该工作提出跨躯体基础框架,通过解耦共享语义与本体执行实现多机器人联合训练,为具身智能通用部署提供新路径。
论文介绍 Code-as-World 范式,主张用可执行的代码来表征物理世界的组成、动态演化及外观,以此提供紧凑且量化的抽象。研究开发了一种受溯因推理启发的代理发现循环,让智能体提出、执行、渲染并验证世界假设以迭代优化。实验表明该方法在 QuantiPhy 基准上达到最先进水平,超越主流专有模型,展示了可执行世界表征作为物理智能可扩展基础的潜力。
Vorch-Director 是一种基于 LTX-2 扩散架构的音视频生成模型,利用噪声水平感知的残差校正策略解决自回归历史中的身份漂移与不同步问题。该模型引入任务嵌入区分历史视频、参考图像及目标视频,支持多镜头、多主体及长视界引导生成,并在 ST-Bench 上验证了优于强基线的稳定性与保真度。论文因信息披露担忧已被撤回,目前无 PDF 可供下载。
H-GRPO 框架引入匈牙利匹配优化结构化三元组,使视觉语言模型在语义与空间维度同步评估中间推理步骤。实验表明该方法显著提升了分解性能与答案准确率,证实了局部区域信息对预测的重要性。研究推动了对超越单纯答案准确率的 VLM 评估范式。
PRISM 方法利用冻结的世界模型编码器提取动作先验,以引导目标条件规划。该方法的均值和预测不确定性用于搜索有用动作,而世界模型则评估这些动作的后果是否符合目标。实验在四个模拟控制任务和两个真实机器人平台上进行,结果表明轻量级动作头能提升规划性能,且同一融合接口无需修改即可接受针对相同冻结特征的扩散先验。