流式干预:视频大语言模型能否在出错时即时纠正?
本文介绍 Ego-MC-Bench 基准,用于评估视频大语言模型在真实烹饪场景中进行反应性、逐步任务指导及主动纠错的能力。实验表明当前最先进模型在该基准上表现困难,主要归因于缺乏包含错误与适时干预的训练数据。
本文介绍 Ego-MC-Bench 基准,用于评估视频大语言模型在真实烹饪场景中进行反应性、逐步任务指导及主动纠错的能力。实验表明当前最先进模型在该基准上表现困难,主要归因于缺乏包含错误与适时干预的训练数据。
该研究探讨了视觉指令微调如何将预训练大语言模型适配为处理图像信息,揭示了视觉特征被嵌入 LLM 骨干网络中间语义层的机制。研究发现,这些中间层构成了视觉 - 语言处理的语义核心,对多项多模态基准的性能至关重要。
NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。
推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。
该方法提出利用矩阵值可容许启发式函数,在保留黎曼度量方向结构的同时计算张量最紧常数下界。实验验证显示,在 UR5、Franka 及 PR2 机器人执行操作任务时,其生成的信息集比欧氏距离和标量特征值界限更紧致,加速了多种渐近最优规划器的收敛速度。该研究已提交至 IEEE RA-L 期刊并附 arXiv 预印本代码。
基于大语言与视觉语言模型的机器人策略虽具备强语义规划能力,但高推理延迟限制了实时部署。本文提出 REIS 框架,受人类认知启发,利用连续观测中动作与子目标重复的时序冗余特性,结合轻量级场景门控、KV 引导的可操作路由及深思熟虑的推理机制,在保持语义适应性的同时显著降低推理开销。实验表明该方法在 ALFRED 基准及真实世界任务中均能维持具有竞争力的性能。
针对多源视觉输入(如红外与深度)融合时缺乏显式机制区分信息增益或干扰的问题,论文提出 MARS 框架。该方法将单源奖励作为动态锚点,在强化学习可验证奖励(RLVR)中明确纳入多源融合带来的信息增益至优势归一化过程,自适应地强调互促并抑制噪声冲突。
推荐理由:提出 MARS 框架,通过单源奖励锚点解决多源视觉推理中的信息增益量化与模态冲突问题。
该综述针对软体机器人中仅靠压力无法决定气动致动器性能的难题,系统分析了腔室形状、增强件布局及折叠结构等设计策略对线性、弯曲、扭转和全向四类运动的影响。文章进一步探讨了材料刚度与内部约束层如何权衡出力、气耗、重复性及耐用性,为穿戴、生物医疗及移动机器人应用中的紧凑高效系统设计提供选型依据。
针对软袖式执行器出力机制不明的问题,研究构建了包含轴向刚度的准静态分析模型。实验表明在 125 kPa 压力下,该 LSSA 出力随延伸从约 112 N 降至近零,且静载荷会显著降低输出力。结果证实了压力、几何形变及轴向刚度对软体执行器力学行为的耦合主导作用。
论文提出 AVI-HT 方法,利用同步的多模态训练数据(穿戴式视觉与 6-DoF IMU)及跨传感器深度注意力机制,实现对重度遮挡下的高精度三维手部姿态追踪。在 DexGloveHOI 数据集上的实验表明,该方法相比基线将平均关键点误差降低 16.1%,腕部对齐变体降低 24.2%,并将手指与物体的接触丢失率减少 8.5%。该工作已接受发表于 NeurIPS 2026。
针对非结构化环境中单一备份策略失效的挑战,本文提出了策略库控制屏障函数(PL-CBF),这是一种运行时安全滤波器。该方法通过评估满足约束的并行有限视界回滚结果,从候选策略中选择容许控制集体积最大的策略,并求解二次规划以最小化对名义输入的修改。研究在室内导航、高速驾驶及四旋翼飞行等仿真场景,以及移动机器人和定制四旋翼的硬件实验中,均证明了其在保持毫秒级计算时间的同时提升了安全性能。
推荐理由:提出基于并行有限视界回滚的策略库控制屏障函数,在仿真与硬件实验中验证了其在复杂动态环境下的实时安全性。
该论文针对医学影像中个体间解剖结构空间关系一致的特性,提出利用跨实例拓扑一致性作为新的自监督信号。方法包含两种对齐机制:在实例内利用像素对应保留局部邻域拓扑;在实例间无监督下推导伪对应以控制部分邻域对齐并防止拓扑坍塌。实验在 7 个下游多模态任务上验证,分割与分类任务平均提升分别为 1.1% 和 5.94%,且在测试时缺失模态的情况下表现出更强的鲁棒性。
论文 Fill the GAP 提出一种针对多模态大语言模型(MLLM)的视觉隐式推理新范式,旨在解决现有方法因特征空间失配导致的不稳定增益问题。该方法在数据、特征和模型三个层面进行对齐:利用可检查的辅助视觉监督锚定隐式目标;通过轻量级 PCA 对齐头将解码器输出映射为输入兼容的视觉潜变量;并选择性地将隐式监督分配给基础模型表现困难的样本。
OptDiff 通过引入不变性重参数化,使同一超参数可跨多个图像重建、去模糊及超分辨率任务复用而无需重新调优。该方法结合 RED-diff 框架将后验采样转化为优化问题,利用凸优化工具显著加速推理并提升图像质量。实验表明该设计在保持 SOTA 性能的同时解决了长推理时间和繁琐调参的部署难题。
$\mathcal{B}^{3}$-Net 提出受控后验桥学习框架,通过可靠性估计、后验桥构建及有界重分配解决多任务稠密预测中的负迁移问题。在 NYUD-v2、PASCAL-Context 和 Cityscapes 数据集上,该方法在 CNN、Transformer、扩散模型及 Mamba 等基线方法中取得竞争或更优的权衡效果。实验验证增益源于受控后验桥学习而非骨干容量或解码器规模。
该工作提出通用主成分网络(CPCNet)与投影追逐式通用主成分网络(PP-CPCNet),将迭代的主成分分析算法转化为端到端可微层,以在分布外偏移下学习共享的正交基。实验显示这两种方法在四个标准域泛化基准上具备具有竞争力的零样本泛化性能且计算效率良好。
该系统将紧急制动建模为最优控制问题,在模型预测控制框架下生成时间最优且防溢出的停止轨迹。作为即插即用的安全层,该方法叠加于现有无晃动运动规划之上,能在检测到危险时立即响应非线性液体动力学。仿真及七自由度 Franka Emika Panda 机器人实验证实,系统可实现快速紧急制动且不发生液体溢出。
MM-IQA 是一个结合模糊、边缘结构等可解释线索的轻量级多指标框架,能在 [0,100] 区间输出单一致质量分数。该方法在 KonIQ-10k 等五个基准数据集上 SRCC 达 0.647 至 0.830,Python/OpenCV 实现处理单图耗时约 1.97 秒且内存随图像尺寸线性增长。
Appear2Meaning 是一个针对图像恢复文物标题、文化、时期等五类元数据的跨文化基准,涵盖 750 件博物馆藏品。在九款视觉语言模型测试中,字段级平均准确率为 36.16%–49.82%,仅含图像输入使文化、时期和原产地的参考兼容性比对照提升 12.6–32.2 个百分点。该基准通过区分字段级与完整记录兼容性并引入人工验证,旨在解决从图像恢复人类归因的技术挑战。
Hanzhe Liang 提出 Open3D-AD 方法,利用少量已知异常样本训练模型以识别未知工业缺陷。该方法基于包含 15 类、每类 5 种真实异常的 Open-Industry 数据集构建基准,在 Real3D-AD 和 Anomaly-ShapeNet 上验证了有效性。论文已撤回且未提供许可证,代码与权重暂未开放。
论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。
推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。
针对现有多模态大语言模型在农业感知任务中存在的严重地面视角偏差及尺度混淆问题,该工作发布了 AgroOmni 大规模多视角训练语料库。该数据集包含 268,119 个视觉问答对,覆盖 56 个专用任务类别和 14 种任务类型,涵盖从地面近距离摄影到无人机航拍再到卫星遥感影像的多种空间尺度。
针对文本到视频合成中运动模糊难题,本文提出无需训练的 MotionCFG 方法。该方法在条件嵌入的运动子空间引入高斯噪声构建负条件,引导生成远离该区域以放大运动意图。
ENIGMA-360 是一个在真实工业场景中采集的自他视角(ego-exo)数据集,包含 180 段第一人称和 180 段第三人称程序化视频,两者时间同步并提供互补信息。数据已标注时空注释,支持研究工业领域的人类行为。作者提供了四个基础任务的基线实验结果:时序动作分割、关键步识别、自他视角的人机交互检测以及基于视频的跨视图问答,展示了现有方法在该挑战场景下的局限性,并公开了数据集及注释供公众使用。
针对长视野任务中现有视觉语言动作模型存在的结构盲视、泛化受限及优化扁平等问题,本文提出一种新型神经符号 VLA 框架。该框架引入神经符号编码器将指令解析为受门控单调阶段指针跟踪的原始计划,利用神经符号求解器基于活跃子指令条件化块状 VLA 策略,并通过分层联合策略优化在演示片段上拟合指针并利用成功过滤的在线学习细化动作策略。
针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。
推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。
针对多机器人团队协作定位与建图(C-SLAM)中通信受限、异常值及在线运行等现实挑战,本文提出 Robust Incremental Manifold Edge-based Separable ADMM(riMESA)。
该研究系统分析了现有无训练加速方法的性能与兼容性,发现采样时间调度是关键因素。基于 Frenet-Serret 公式的几何性质,作者提出了恒定总旋转调度(TORS)策略,确保采样轨迹上的均匀几何变化。
SunnyParking 提出双分支端到端架构,联合预测空间轨迹与离散运动状态序列以解决传统方法在换档点物理不可行问题。该方法引入傅里叶特征表示目标车位,在 CARLA 仿真数据集上显著提升了复杂多拍场景下的轨迹鲁棒性与换档定位精度。论文已接受发表于 IEEE Access,并开源了专用泊车数据集供评估全预测能力。
该预印本提出仅用编码器架构的 VidEoMT,通过轻量级查询传播机制在 ViT-L 骨干上实现视频分割,速度提升 5-10 倍。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
MarsRetrieval 是一个针对火星地理空间发现设计的检索基准,涵盖成对图文检索、地貌检索及全球地理定位三项任务。评估显示即便强基础模型也难以捕捉特定地貌差异,证实了领域微调在行星环境下实现泛化地理空间发现的关键作用。代码已公开,适用于计算机视觉与天体物理仪器方法研究。
针对地球观测数据预训练模型在下游任务中地理泛化能力不足的问题,作者构建了包含 12 种模态的 MMEarth-Bench 基准数据集。研究提出了一种与模型无关的测试时训练方法(TTT-MMR),利用测试时的所有可用模态作为辅助任务进行重建,显著提升了各类预训练模型在随机和地理划分测试集上的性能。
作者提出 MM-SCALE 基准,包含 8,444 个图像上下文和 21,977 个行动场景,要求模型在共享视觉背景下比较不同行动的道德评分并 grounding 理由。结果显示当前 VLM 的 NDCG@5 虚高而内部排序准确率低,且常忽视视觉证据的关键性,揭示了现有模型的证据 grounding 失效问题。
该论文系统检验了计算机视觉缩放定律在遥感领域的适用性,发现遥感基础模型在远小于通用视觉模型的规模下即进入过参数化区域,任务相关信息存在显著冗余。研究对十种最先进模型进行后训练剪枝测试,显示在激进宽度缩减下平均保留 85% 以上分类准确率,而基于自然图像预训练的掩码自编码器性能则急剧下降。
针对视频扩散 Transformer(Video DiTs)中注意力机制二次复杂度限制上下文扩展性的问题,本文提出 VMonarch 新机制。该方法利用 Monarch 矩阵表示稀疏时空注意力模式,通过时空因子化显式捕捉帧内与帧间相关性,引入重计算策略缓解交替最小化带来的伪影,并融合在线熵算法实现长序列的快速更新。
GRCF 提出自适应误差加权与动态间隔机制,解决现有成对序数学习忽略样本难度及静态间隔的问题。该方法在回归数据集上达到最先进水平,并成功扩展至幽默与讽刺检测等分类任务。代码与论文已作为预印本公开于 arXiv。
ReflFlow 框架通过残差材质增强高斯泼溅表示及混合渲染管线,解决了动态高光场景中的反射方向估计与物理建模难题。在动态场景基准测试中,该方法定量定性均优于先前方法,生成了更清晰逼真的复杂环境高光反射。该成果作为 ICML 2026 预印本发布,包含代码、权重与数据,共 16 页含 5 张表格。
针对无人机图像感知中目标密集、背景杂乱且简短提示指导不足的问题,本文提出无需微调的代理框架 AerialVP。该方法通过基于大模型的 Task Engine 动态分析原提示特异性,选择性融合图像语义、空间位置及物体关系等线索以增强提示,从而利用视觉语言模型预训练的对齐与推理能力降低目标歧义。
论文提出 SAGAS 框架,解决线性时序逻辑(LTL)机器人规划中模型合成依赖准确状态机、学习方法需在线交互的权衡问题。该框架在无动力学模型与任务演示的离线设置下,利用固定轨迹片段学习可复用的隐式可达性图与冻结的目标条件执行器。
该方法利用多层对比损失检测图像情感概念,结合情感属性引导大语言模型生成描述句以弥合“情感鸿沟”。针对情感数据集类内差异大、类间差异小的问题,引入基于语义相似性的采样策略优化预训练语言模型。实验表明,该方案在多个基准测试中有效处理含嵌入文本的图像,实现了具有竞争力的分类性能。
LENS 是一种专为多模态大语言模型(MLLM)设计的即插即用范式,通过冻结主模型并附加轻量级头部来提取注意力图关键点以实现像素级分割。实验表明该方法在保持与重训练方法相当的分割性能同时,有效避免了通用能力的灾难性遗忘。该成果已发表于《国际计算机视觉杂志》(IJCV),相关代码与论文版本 v2 可通过 arXiv 获取。