联合、解耦还是智能体:每种多模态对齐范式的胜出场景
论文对比了联合预训练(JOINT)、下游解耦融合(DECOUPLED)和智能体指令(AGENT)三种范式在 16 个数据集上的表现,发现没有单一范式在所有组合中占优。研究提出利用任务诊断与元数据结合的方法,能在留一验证中将选对范式的比例提升至 71.4%,为多模态模型选择提供依据。
论文对比了联合预训练(JOINT)、下游解耦融合(DECOUPLED)和智能体指令(AGENT)三种范式在 16 个数据集上的表现,发现没有单一范式在所有组合中占优。研究提出利用任务诊断与元数据结合的方法,能在留一验证中将选对范式的比例提升至 71.4%,为多模态模型选择提供依据。
针对现有视频生成模型缺乏物理合理性量化的问题,本文提出了 PVBench 基准。该基准涵盖指令语义、行为因果、几何空间、材料属性等七个领域的 46 个维度,包含 600 条精心设计的提示词(其中 30% 涉及具身智能体)。
本文研究如何利用冻结的预训练视觉和深度表示(DINOv2、Depth Anything V2)支持稠密光流估计,结合监督匹配网络和 DPT 特征解码器进行粗到细的优化。
针对动态环境下移动物体会导致视觉 SLAM 建图错误和定位精度下降的问题,该研究提出 CAOS-SLAM 框架,在 ORB-SLAM3 基础上扩展了混合感知管线。
推荐理由:该工作提出 CAOS-SLAM,通过混合感知管线在动态环境中实时剔除移动物体干扰,显著降低定位误差并支持轨迹估计。
针对通用视觉语言动作策略难以适应人形机器人高维全身运动控制的挑战,本文提出 HAF-VLA 分层动作流框架。该方法基于预训练流匹配 VLA,通过可学习阶段嵌入和跨阶段 KV-cache 条件机制,将动作生成分解为移动与头部指令、腰部细化及全身操作三个渐进去噪阶段。实验在六个真实世界任务上验证了该框架能显著提升现有模型在人形机器人运动操作任务中的性能。
针对四足轮腿机器人中轮式运动预测不可靠及接触状态无法跨方向判定可靠性的问题,提出紧耦合 LiDAR-惯性 - 运动学里程计框架。该方法保留解析滚动预测,利用本体感知历史学习每轮、各方向的进程协方差,并通过退化感知投影抑制几何弱方向上的 LiDAR 约束。
该研究提出一种无需显式重建深度的几何感知单目视觉规划框架,通过跨模态知识蒸馏将深度专家特征转移至 RGB 规划器。系统在 3D Gaussian Splatting (3DGS) 仿真环境中训练后直接部署于真实环境,未进行现实微调即实现最高 6.5 m/s 的障碍物规避能力。
论文提出了 FocusGUI,这是一种针对全模态 GUI 智能体的轻量级适配器,旨在解决因统一暴露所有上下文导致的序列分心问题。该方法通过动态优先处理多模态通道并将关键证据压缩注入冻结解码器的嵌入中,引导模型注意力而不改变其原生参数空间。
论文针对扩散 Transformer(DiT)在压缩模型与自适应推理结合时出现的质量退化问题,提出 TamedFlow 方法。该方法通过跨架构特征对齐、近恒等速度对齐头及随机化展开监督训练压缩 DiT;在推理阶段利用轻量级轨迹估计器路由草稿,接受则跳过教师计算,拒绝则回滚并接收一次教师救援步骤。
MIRA 是一种专为可控报告生成的多模态插图深度研究智能体,解决了现有系统在推理中低估搜索轨迹中的图像以及生成时缺乏对报告粒度、多模态组合和证据锚定控制的问题。该工作通过 MIRA-Harness 将用户要求转化为生成合同并连接证据收集、提交、反馈修订与交付四个阶段,利用 Qwen3.6-35B-A3B 基础模型在七个代表性基准上取得最先进性能,能够产出与用户需求对齐且具备可追溯图文证据的报告。
推荐理由:MIRA 模型通过多模态证据整合与生成合同机制,在开源智能体基准上实现最先进性能,并支持用户可控的图文报告生成。
针对生成式图像超分辨率可能引入幻觉的问题,作者提出了一种基于双向视觉问答(VQA)的评估技术 VHA,利用视觉语言模型判断生成细节是否忠实于参考图。为降低计算成本,团队开发了轻量级预测模型 VHA+ 并构建了基准数据集 VHA-bench。实验表明两者均与人类对幻觉的判断高度相关。代码、基准及权重已开源。
论文提出自结晶行为树(SCBT)框架,将大模型作为编译器而非运行时组件,通过上下文多臂老虎机、CMA-ES 调优及三阶段准入管道筛选补丁。在 Project AirSim 仿真中,该方法在遭遇风切变和电池故障时,仅用约 11 次 LLM 调用即可将任务成功率从 12% 提升至 97%,最终固化为无需学习的确定性行为树。
该论文提出 Frozen Expert 框架,通过冻结 CROMA SAR 编码器与 CLIP 文本编码器并利用轻量级约束残差桥接来解决跨模态对齐中的模态失配与物理遗忘问题。
arXiv 论文 LENS 提出一种在 AMD KR260 FPGA/ARM 平台上运行的边缘端场景记忆加速系统,旨在替代桌面 GPU 为资源受限的机器人和自动驾驶车辆提供定位与近景渲染能力。
论文提出 Stable Signer V3,这是一个基于 4D Deformable Primitive Splatting 的交互式高分辨率手语虚拟形象系统。
GSMR3D 模型通过结合各向异性 3D 高斯原型字典与测量一致性投影,单次检查点即可重构任意各向同性及各向异性分辨率的 MRI 图像。该模型在 3,731 例增强 T1 加权及 30,254 例常规 T1 加权脑 MRI 数据上训练,相比几何专用专家模型,在各向同性 $2\times$ 超分辨率任务中表现更优,且在肿瘤分割、转移灶检测等下游任务中保持更高保真度。
论文提出了名为 CorrCLIPv2 的统一免训练对象中心框架,旨在解决对比语言 - 图像预训练(CLIP)在开放词汇分割任务中受噪声类间补丁交互影响的问题。该方法通过解耦类间交互、利用自监督模型的空间相干特征计算注意力分数以减轻掩码不准确性,并设计细化机制同时增强空间细节与语义表示。
推荐理由:该工作提出无需训练的 CorrCLIPv2 框架,利用无标签图像构建记忆库并集成多 CLIP 模型,在多个基准上实现开放词汇分割的新最先进水平。
论文提出了 RoMo-GS,这是一种针对机器人应用的在线 3D Gaussian Splatting (3DGS) 系统。该方法通过解析地集成每个投影高斯在曝光区间内的值(而非平均离散子帧),将复杂度降为 O(1),并结合基于 Hessian 的剪枝分数限制高斯数量增长。
OrTeN 是一种无需结构先验或初始粗糙地形的数字高程图(DTM)构建方法,通过神经逆向渲染从校准后的线扫描卫星图像中联合优化纹理高度图并修正轨道相机姿态。该方法在 Jezero Crater、Gale Crater、Olympus Mons 和 McGetchin Crater 四个数据集上评估,对齐地形均方根误差(RMSE)分别为 2.35 m、2.82 m、16.18 m 和 0.43 m。
BlenderWorld 是首个全面评估前沿模型在真实世界参考下进行 3D 创建任务的基准,涵盖建筑、产品等 223 项任务。研究建立了统一评测协议,通过渲染多视角并对照 2651 个二元标准与整体视觉质量评分进行评估。结果显示 GPT-6-Astra 综合得分最高(79.9),但模型在细粒度空间一致性和 Blender 结构复现上仍面临严峻挑战。
AutoPruner 是一个由 LLM 智能体驱动的框架,旨在联合搜索 VLA 模型的剪枝结构与恢复方案以平衡模型大小与性能。该框架通过离线层干预测量动作输出变化作为功能证据,结合评估历史提出删除集和恢复策略并在目标任务上执行验证。
研究追踪了七个开源强化学习后训练框架,发现 2025 年 1 月至 2026 年 6 月期间仅 37 篇通用方法被纳入。被采纳的论文更常涉及 30B 以上参数策略及损失函数系数调整,且多数未获维护方回复。研究数据已作为追踪器开源,链接训练失败记录与框架贡献规则。
巴斯尔推出新型视觉系统架构,通过同一 SDK 直接由相机控制镜头和照明。其 Vision Simulation 功能允许在无需物理原型的条件下进行图像处理应用的开发与验证。该方案旨在为全球工程师和系统集成商提供自动化解决方案。
大晓机器人发布全新视觉空间锚定增强型具身模型ACE-Brain-0.6,该模型基于Qwen3.5-9B架构构建,重点通过规模化、多样化及可验证的空间监督数据提升目标识别与交互锚定能力。
SPACE 提出一种受蚂蚁觅食启发的共享环境场机制,通过吸引前沿、排斥探索和快速密度场引导数十至数百个地面机器人集群协同。在 HouseExpo 和 KTH 数据集的十六套家居与八处校园场景中,该算法使接触率降低四到十七倍且覆盖时间仅增加约两百分之一,位于经验帕累托前沿并优于贪婪最近前沿规划器。论文已被 IEEE ROBIO 2026 接收,代码与权重暂未提及开放许可。
PinNet 是一种神经网络,通过生成关键点及其对应描述符并结合平面几何自注意力模块,提升激光雷达点云在大规模环境中的位置识别与配准能力。该方法在多种不同传感器采集的数据集上评估,展现了强大的位置识别性能、精确的相对位姿估计及多场景单步定位成功效果。代码已修复 LCDNet 注册错误,论文版本为 arXiv:2606.28637v3。
arXiv 预印本论文 GoDe 提出一种渐进式压缩框架,通过掩蔽梯度重要性排序构建层级细节,利用共享熵字典存储基础层与增强层。该方法无需修改骨干网络或为每种新基元重新推导压缩结构,即可将任意训练好的可微分高斯表示重组为可扩展比特流。
F-LIVO 是一种基于滤波器的激光雷达 - 惯性 - 视觉里程计框架,通过视觉点与激光雷达平面之间的特征层面点对平面约束耦合视觉 - 惯性与激光雷达 - 惯性子系统。
针对连续空中搜索中因证据矛盾导致假候选持续触发行动的失败模式,该文提出 SkyAgent 框架并引入可修订目标记忆机制。该机制通过关联证据、折扣相关视角及维护暂存/确认/拒绝三种状态来修正候选项,并将生成的航点与源候选绑定以无效化过时目标。
针对发展中国家缺乏专家标注数据的难题,本文提出 A100 农业视觉基础模型。该模型基于自监督学习在超过 300 万张未标注田间图像上进行预训练,采用融合 MBConv 与 Transformer 的混合骨干网络,并集成 DINO、iBOT 和 KoLeo 正则化技术。
论文提出 Caltech Fish Counting 2026 (CFC26) 数据集,将原有数据扩展至阿拉斯加至北加州的九条太平洋鲑鱼河流系统共十一处部署地点。研究引入 nMNE 和 nMANE 两项新指标以模拟专家工作流程,揭示了上行与下行计数中此前被掩盖的方向性偏差。代码与数据已在 CaltechDATA 和 GitHub 公开。
该论文提出 JAVIS 端到端流式框架,通过共享大语言模型与联合精炼头实现音视频统一表征生成,显著降低初始延迟并提升口型同步与表情适配性。作者还发布了包含 334 小时数据的合成语料库 JAVIS-Syn,以补充情感丰富的多轮对话数据。材料为预印本版本,未提及同行评审状态或具体部署场景。
论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。
推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。
论文研究大语言模型智能体如何通过外部记忆存储执行经验以改进任务表现,指出保留抽象规则虽能复用策略但会导致错误通过检索与重生成循环持续传播(即错误复现)。作者提出 Anti-Persistence 设计,仅积累轨迹和结果并在需要时按需重构指导,执行后丢弃合成内容以防止直接复用。
针对联合嵌入预测架构(JEPA)缺乏人类可读接口的挑战,该观点文章提出“地面、结构、验证、行动”四阶段研究议程。现有工作仅初步支持“地面”阶段,而系统分析潜在结构、因果验证及干预仍属未探索领域。此举旨在推动从单纯解码表征转向对潜在世界的理解、验证与行动。
这篇论文介绍了 StopLoss,一种用于编码智能体的外部监控器,它通过学习已完成轨迹及其验证结果来识别失败模式。该方法能在不修改执行器的情况下,利用校准后的阈值在单次前向传播中判断是否提前终止任务,从而节省资源。
该预印本提出 CoEvo-RSI 框架,旨在解决递归自我改进(RSI)智能体中的“脑 - 身”错配问题。通过共享进化档案和执行反馈,元代理协调执行架构发展与模型选择或合并及后续适应,以对齐继承的能力与演进的执行需求。
针对边缘设备硬件异构、软件栈碎片化及资源预算紧张的问题,该研究提出了 EdgeKernelBench 基准测试框架和 LEKA 分层优化代理。实验表明,直接生成的最佳模型 Correct@1 为 64.5% 但 [email protected] 仅为 25.5%,功能正确性无法保证性能收益;引入分层 IR 的 LEKA 在同等条件下将 [email protected] 提升至 43.5%。
针对长程任务中运行前沿模型昂贵而小模型易失败的矛盾,本文提出 LEASH 这一无需训练的框架。该框架利用弱模型的隐状态不确定性信号,仅在必要时将控制权移交强模型,并在移交后通过影子观测器对黑盒强模型进行持续监督。
推荐理由:提出无需训练的 LEASH 框架,利用弱模型隐状态不确定性实现按需调用强模型并持续监督,在 OSWorld 基准上显著降低推理成本。
论文介绍 FDE-Gym 基准,包含来自 18 个行业、20 种场景的 95 项端到端交付任务,模拟具有脚本化利益相关者和可修改系统的生产环境。评估显示,在需发现未声明约束的真实设置中,最佳配置平均得分为 0.56,仅解决 14 项任务;即使获取所有关键事实,能实现高业务提升的任务也仅有 10 项。
推荐理由:该基准通过模拟真实交付场景,揭示了模型在发现未声明约束时的性能瓶颈及从事实到有效解决方案的差距。