VIVID:超越静态多图推理的视觉多模态大模型
VIVID 提出通过帧间 Patch Diffs 和动态 Token 解决视频 MLLM 在有限帧预算下丢失局部运动与事件顺序的问题。该模型仅在冻结的 27B 骨干网络上增加 0.22% 可训练参数,利用 3 fps 池自主规划关键帧并在零额外锚点开销下运行。
VIVID 提出通过帧间 Patch Diffs 和动态 Token 解决视频 MLLM 在有限帧预算下丢失局部运动与事件顺序的问题。该模型仅在冻结的 27B 骨干网络上增加 0.22% 可训练参数,利用 3 fps 池自主规划关键帧并在零额外锚点开销下运行。
该论文提出一种方法,利用训练于单智能体演示的生成模型,结合编码团队物理属性的约束来生成合作任务轨迹。作者证明该方法能生成所有满足约束的团队轨迹,尽管演示中不含合作信息;数值实验与多机器人测试床验证了其在无需重新训练的情况下支持成员动态增减的能力。
TCP4D 是一个统一模型,利用共享的 4D 场景表示从单目视频和初始 2D 查询中直接恢复度量 TCP 姿态、夹爪状态及场景几何。生成器基于同一表示采样局部特征并结合机器人观测与语言指令预测未来 TCP 状态。
GameRealm 是一个包含超 1.2 亿 RGB 帧和 1000 小时游戏录像的大规模数据集,提供深度、相机参数及音频等多模态同步监督。该资源涵盖单目至全景等多种视图配置,旨在解决训练数据碎片化问题并增强视觉生成与几何学习能力。其统一采集管线结合人工交互与智能体探索,为物理智能发展提供了可复用的基础数据支撑。
Pressure Drop 提出利用高度计测量直接观测重力矢量方向,理论评估了估计噪声并验证了传感器间距的影响。实验显示该系统在半静态场景下倾斜估计中位误差为 $0.87^\circ$,在动态场景及加速度计饱和情况下性能媲美甚至优于惯性测量单元(IMU)基线方法。该方法已集成至迭代最近点(ICP)算法,展示了在机器人系统中的潜在应用价值。
Joyjeet Singh 审计了 Robotic World Model (RWM) 及其后续版本 RWM-U 在 ANYmal D 四足机器人上的表现,发现仅用一步预测误差评估模型质量会误导设计决策。
Nunchi 框架通过结合转录文本与说话人模型输出,利用视觉语言模型权衡几何视线与对话线索以精准识别多人场景中的注视对象。在包含 3,340 个样本的 SORBET 基准测试中,该方法比最强现有方法准确率提升 4.8 个百分点,且增益在三种 VLM 及自动转录条件下均成立。
论文介绍 LUTBench 基准,收集91个三维查找表(3D LUT)定义摄影风格,并在5000张 MIT-Adobe FiveK 照片上生成45.5万对输入 - 目标图像对。
Event-Based Dynamic Lip Region Estimation During Speech 提出基于事件相机的动态唇区预测方法,在低光照等挑战环境下实现高精度定位。
FMT(Fixed-step Multiscale Tree)是一种将解码顺序与熵编码器协同设计的无损图像格式,确保任意尺寸图像均在固定数量的串行步骤内完成解码。该格式在无需网络时即超越 NVIDIA HTJ2K 的体积与速度;配合大型网络,在相同 A100 GPU 上将 Kodak 照片解码速度提升 9 至 61 倍,且优于同类学习型编码器。
该研究提出 CADENCE,一种基于强化学习的步态规划器,每 40ms 在最多 65 个离散动作中决策。在无固定周期的 OCS2 仿真环境中,面对 26% 至 49% 空隙地形,其成功率达 85.1%,显著优于 OCS2-Trot(67.8%)及静态行走基线(39.6%)。
RVT-T 模型基于 v2e 模拟器生成的合成事件数据,在 Jetson Orin Nano 平台上以约 136 ms 延迟和 2.02 J/样本能耗实现海上人员实时检测。该模型在 843 个测试样本上达到 15.63% AP50:95,显著优于 YOLOv8n(6.89%)和 RT-DETR-R18(9.44%)。研究已接受于 WACV 2027 海事计算机视觉研讨会,代码与数据待开放许可。
针对轻量级用户设备上的音视频问答任务,本文提出一种免训练的查询无关令牌剪枝框架,通过蒙特卡洛沙普利估值定义视频时空块和音频窗口为播放器,结合嵌入覆盖目标保留高重要性令牌以构建可复用记忆。
UnrealEvent 是一款运行于 Unreal Engine 5.5 的合成数据集生成管线,通过 V2E 事件帧生成器与 EasySynth 语义渲染将场景序列转化为配对事件表示及 YOLO 格式标注。该工具在 eTraM 基准上评估显示 YOLOv8 检测器具备强域内性能但存在显著的仿真到现实差距,尤其是行人目标;微调少量真实数据可提升实域表现,凸显资产多样性与传感器校准的重要性。
PAIR 是一个基于 Matter 协议构建的智能家居仿真环境,包含 84 个智能设备资产及 340 个人类演示数据。在由 1,200 次评估组成的基准测试中,两种微调后的视觉语言动作模型(VLA)策略均未完成任何任务,超过 90% 的失败案例停滞于导航或操作环节。研究团队表示将在发表时开放代码与数据。
论文介绍 RFW-S 数据集,包含 83,365 个经过独立仿真验证的变形物体资产,覆盖 485 类日常物品及五种结构家族。作者开发了结合参考引导生成、结构感知物理建模与 LLM 参数校准的自动化管线,并通过独立于校准过程的交互行为评估确保物理可靠性。
论文介绍 ReTouchGS,这是据称首个针对预训练 3D Gaussian Splatting 模型的免参考图像美学色彩增强框架。该方法通过模型及其相机参数预测场景级查找表(LUT),并利用共享的混合感知色彩细化网络(仅 4.47 万参数)实现无需渲染的色彩映射与几何保持。
该论文提出 Refin3R 模型,通过双分支架构将运动恢复结构(SfM)的稀疏点云信息传播至图像网格并进行联合细化。2D 分支利用几何感知骨干网络扩展 SfM 覆盖范围,3D 分支推理多视角结构以捕捉仅靠图像无法表示的全局几何。
论文介绍了 Magflow,这是一个完全可微分的 GPU 并行仿真器,专门用于模拟具有六自由度的工业级磁悬浮系统。研究团队利用该工具训练了首个纯基于物理仿真的神经网络控制器,并展示了其能零样本迁移到真实硬件,在 4 kHz 频率下满足硬实时约束,甚至实现了传统手工设计无法支持的拓扑结构控制。
该团队利用 Sentinel-2、Sentinel-1、ALOS PALSAR 及 ALOS 高程数据,基于圣保罗州航空激光雷达训练的深度学习网络,生成了 2024 年巴西大西洋森林冠层高度(10m)和地上碳密度(30m)全区域图。
论文指出前向过程强化学习在利用移动策略副本作为锚点进行稳定训练时,会因负优势导致凹性更新干扰正反馈教学。作者形式化这一冲突为锚点耦合问题,并提出优势门控适应方法,通过参数无关的门控函数区分处理正样本的目标拟合与负样本的局部排斥方向,同时利用冻结预训练参考保留长程行为。实验表明该方法在组合生成、文本渲染和偏好对齐任务中提升了奖励与质量的权衡效果。
针对水下目标检测因浑浊、光照及传感器差异导致的数据稀缺问题,研究提出无需人工标注的自动化零标注流水线。该流程在 SeaClear 数据集上比较了复制粘贴、Stable Diffusion 修复及 DALL-E 三种生成策略,结果显示 DALL-E 方法在五个领域中提升了四个领域的检测性能,相对基线最高增益达 96%。
论文提出 M3OPD-Reasoner 这一完全开放的视觉语言模型(VLM)后训练方案,涵盖图像 STEM、图像感知和视频三个推理领域。研究构建了包含 1.35M 样本的监督微调数据集和 19.3K 样本的强化学习数据集,并在去污染后的 21 个基准测试上验证了多教师同策略蒸馏(MOPD)结合组序列策略优化(GSPO)及混合强化学习的最佳组合效果。
推荐理由:作者提出 M3OPD-Reasoner 开源配方,通过多教师同策略蒸馏与强化学习结合,在图像 STEM、感知及视频推理任务上实现性能提升。
该论文提出 Decision-Guided Speculative Perception(DGSP)方法,利用规划器对假设物体的反应探测低分辨率场景中的决策敏感区域,仅对这些区域及当前动作依赖的检测进行高分辨率验证。
该文针对文生视频扩散模型忽略提示词部分的常见修复手段(提升分类器自由引导尺度)进行了测量研究。研究发现,该手段仅在提示词不含否定词、无特定时间绑定事件且'需求分'足够高时才有效;对于否定句或晚期事件失败,重新生成反而更有效。作者提供了基于提示词和首阶段去噪分数的事前判断规则及三种失败类型的修正方案。
研究利用预标注视频训练 YOLOv11 模型,经 TFLite 转换部署于安卓应用,在温控鸡舍中实现对坐、站立和采食三类行为的自动分类。测试显示静态姿态识别准确率最高(坐姿 AP=0.531,精确率 100%),动态采食行为表现较低(AP=0.292,召回率 0.20)。
该研究提出一种基于压缩比特流的 AI 生成视频检测新方法,发现因果视频自编码器会在位流中留下架构特有的周期性节奏(如 CogVideoX 和 Wan2.2 的四帧脉冲、LTX-Video 的八帧脉冲)。
针对生物医学图像分割中密集标注稀缺及跨主体、跨模态泛化难的问题,该研究提出 CAST 框架。该方法基于冻结的 DINOv3 骨干网络,无需额外训练即可在推理时通过少量标注示例实现精细化的结构对应关系校准。
针对现有世界动作模型(WAMs)在推理时丢弃未来预测、导致深层视觉层学到的预测信息未被动作路径有效利用的问题,本文提出 RelayWAM 架构。该方法引入显式过渡空间,基于任务指令和当前状态提取跨深度的步相关预测线索并直接传递至动作注意力机制,无需生成未来帧。
针对变形线性物体(DLO)在视觉遮挡下难以精确估计形状的问题,该研究提出无需视觉感知的触觉本体感知方案。作者引入物理信息视觉 Transformer 框架,利用高解析度触觉印记捕捉边界条件与接触梯度,通过自注意力机制和物理加权损失函数确保预测几何符合物体的物理流形。
针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。
Rescaling OLS-Merged Adapters 方法通过重缩放合并更新量,解决了普通最小二乘法(OLS)在激活分布重叠时削弱任务特定信号的问题。在多主体个性化场景下,该方法将合并适配器数量扩展至 30 个,显著提升了主体保真度并优于未缩放基线。此外,该技术在风格迁移、概念擦除及图像分类等任务上也取得了改进效果。
建筑变化检测通常依赖昂贵的大规模密集标注。本文提出 Linear INduced Discriminants (LIND),一种无需训练的框架,将区域特征对比转化为可复用的线性分类器。
推荐理由:提出无需训练的线性判别框架,利用少量标注实现跨数据集的建筑变化检测。
针对像素空间 Transformer 在生成质量与效率上落后于两阶段潜变量模型的问题,本文提出 Hierarchical Diffusion Transformers (HiT)。
推荐理由:提出 HiT 架构,在像素空间内显式学习视觉层级以缩小与潜变量模型的差距。
该论文构建统一流程,通过从不同大视觉语言模型提供的候选回答中选取最佳答案来形成集成。研究在 34 种置信度估计、24 种集成配置、20 个数据集及两种提示规范下进行了全面评估。
针对复杂机器人环境交互中底层动力学难以建模且预测模型导数不可靠的问题,该研究提出 Sim2CBF 框架。该方法仅利用前向模型评估解决控制屏障函数(CBF)安全滤波优化问题,通过有限差分和对采样控制输入的局部线性插值近似 CBF 约束,同时保持避错保证。
Fiberpose 将纤维分析重构为平滑距离变换场的直接回归,通过几何算法在统一工作流中实现直径与方向测量。该独立 Python 桌面应用及 Web 工具在 SEM 图像数据集上,实例分割精度优于 SAM2 和 Cellpose-SAM,直径测量更准于 DiameterJ、Fibar 和 GIFT,且在弱边界密集区域有效并具备跨显微模态的定性泛化能力。
该研究提出首个明确以请求峰值侧滑角为输入条件的生成式漂移轨迹规划器,结合流匹配模型与强化微调。在 Assetto Corsa 仿真闭环实验中,非线性模型预测控制器成功跟踪了 20 至 45 度六个目标侧滑角的轨迹。中位峰值侧滑角误差仅为 1.2 度,且控制屏障函数修正显著降低了脱路与打转事件。
论文提出了 Code World Model 2.0(arXiv:2611.22925),核心是 Invoker-Render 架构,通过双向创作模型与因果四步流式模型的配对,在共享结构代理、外观参考和语言条件下实现可控视频生成。
该研究提出一种带注意力增强的 U-net 生成器与多损失目标的条件对抗网络(cGAN),旨在解决跨卫星泛化难题。模型在 CBERS 及 AMAZONIA-1 数据上训练,针对 SWIR-2 波段实现 SSIM 0.917、PSNR 33.35 dB,显著优于基线。代码与权重已公开于指定 URL,验证了从 VNIR 合成短波红外影像的可行性。