Camera3R:面向异构相机模型的无约束多视图图像前馈三维重建
针对现有三维重建模型难以泛化到非透视相机的局限,本文提出 Camera3R 低秩适配框架,仅需 0.5% 额外参数和不到一天的训练即可将透视预训练网络扩展至任意其他相机模型,同时保持原有性能。材料为 NeurIPS 2026 会议投稿的 arXiv 预印本,代码已开源。
推荐理由:提出低秩适配框架,以极少参数将透视预训练模型扩展至非透视相机。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
针对现有三维重建模型难以泛化到非透视相机的局限,本文提出 Camera3R 低秩适配框架,仅需 0.5% 额外参数和不到一天的训练即可将透视预训练网络扩展至任意其他相机模型,同时保持原有性能。材料为 NeurIPS 2026 会议投稿的 arXiv 预印本,代码已开源。
推荐理由:提出低秩适配框架,以极少参数将透视预训练模型扩展至非透视相机。
论文提出 RaMOD 框架,旨在从车载单芯片毫米波雷达获取的原始范围 - 方位角 - 多普勒(RAD)立方体中实现实时移动物体检测与速度估计。该方法显式估计帧间自车运动,利用预测的多普勒区域抑制静态结构回波,并将剩余数据编码为多尺度特征以预测目标框及类别。
推荐理由:提出 RaMOD 框架,从车载毫米波雷达原始数据中实现实时移动目标检测与速度估计,在 BRIDGE-Liv 数据集上显著优于现有基线。
该文针对文生图扩散模型无法精确控制时钟显示时间或圆形物体特定比例的问题,提出了一种基于几何 Token 编码的框架。该方法将角度参数化为周期性正弦余弦特征并注入提示词,引入随机定位松弛(SLR)技术以在无需推理端定位输入的情况下实现空间对齐,同时针对时钟任务设计了防手位互换的目标函数。实验显示,该方法在时钟生成任务上6度内准确率提升至63-78%,圆形物体分割准确率达89.5%,显著优于基线模型。
推荐理由:提出几何 Token 编码与随机定位松弛方法,将文本生成时钟的时针分针角度控制准确率从不足1%提升至63-78%,并验证了在圆形物体分割任务上的泛化能力。
Maze Runner 是一个开源的自主导航栈,旨在解决稀疏重复几何下的定位、狭窄走廊规划及估计或地图错误时的安全控制问题。该栈在 Gazebo 仿真环境中驱动 Husarion ROSbot XL(配备 2D LiDAR),通过 RANSAC 和总体最小二乘法从扫描中提取带不确定性的墙体线,并分别用于基于地图的扩展卡尔曼滤波定位和在线构建地图的 EKF SLAM。
推荐理由:该工作提出了基于线特征定位与控制屏障函数的自主迷宫导航栈,在仿真中实现了厘米级定位与实时规划控制。
论文提出了首个针对毫米波雷达的新视角合成(NVS)可微分点溅射渲染器 3DPS。该方法直接源于雷达方程的标准立体角形式,为每个定向 3D 点构建基于 ITU-R P.2040 介电常数和板层反射的材料模型,并通过预计算的点扩散函数将复数相量溅射到距离单元中。
推荐理由:提出首个基于点溅射的毫米波雷达新视角合成渲染器,在保持复数域物理保真度的同时大幅缩短训练时间。
论文发布了 LAION-BVD(LAION - Big Video Dataset),这是一个从 CommonCrawl 收集并下载了 8000 万个视频、总时长达 1350 万小时的大规模开放视频数据集。
推荐理由:该数据集提供 1350 万小时视频及合成音视频字幕,为多模态预训练提供了大规模开放资源。
论文提出 FogDrive 数据集,基于 CARLA 生成约 660 个场景(共 13.3 万帧),每个场景包含清晰参考及三种校准后的雾密度版本。数据涵盖相机、深度、语义分割、LiDAR、语义 LiDAR 和雷达等多模态传感器响应。
推荐理由:该数据集提供分级雾况下的多模态仿真场景,支持在已知能见度下训练感知模型并验证去雾策略的有效性。
针对传统概念瓶颈模型灵活性不足的问题,本文提出 Multimodal Concept Bottleneck Model (MM-CBM),通过双概念瓶颈层将图像和文本嵌入对齐到可解释特征。
推荐理由:提出将概念瓶颈模型扩展至 CLIP 结构的双层设计,在保持可解释性的同时实现零样本分类与检索任务。
论文介绍 CSFlow,一种连接人眼对比敏感度函数与流匹配迭代去噪步骤的加权方案。由于真实图像信号集中在低频分量,这些分量在连续扩散过程中比高频分量更早达到高信噪比,从而在傅里叶空间形成软自回归结构;同时人眼对极低和极高频率需要更高对比度才能感知。
推荐理由:提出将人眼对比敏感度函数与流匹配去噪步对齐的加权方案,实验显示在仅推理微调下即可显著降低 FID 并提升生成质量。
KITScenes 多模态数据集发布,包含高分辨率全局快门相机、400 米外长距激光雷达、4D 成像雷达及冗余 GNSS/INS。其 HD 地图据称最完整,首次将交通信号灯等元素以三维拓扑连接形式映射至重投影精度水平。
推荐理由:KITScenes 数据集发布高保真多模态数据与 HD 地图,填补了地理多样性与长距雷达空白。
针对 AI 生成图像检测器在真实数据上性能下降的问题,本文提出 BIAS-ID 透明化框架用于分析和量化检测器中的变换偏差。研究区分了偏差与鲁棒性缺失,并通过六个检测器和两个数据集的评估发现,部分最先进方法受常见处理相关偏见影响显著。作者提供了易于使用的库和代码以复现结果。
推荐理由:提出 BIAS-ID 框架以量化检测器中的变换偏差,揭示现有方法受数据处理偏见影响严重。
该论文指出代表性驾驶视觉语言模型(Driving VLAs)存在反事实障碍插入下的盲点规划问题,即车辆出现在前方时轨迹仍不变。研究通过偏差 - 方差分析发现模型依赖 ego 状态和指令的捷径,并提出了一种受逆运动学启发的架构:利用 LLM 预测未来视觉场景提供密集监督,并设计独立的逆运动学网络仅基于当前和未来视觉状态解码轨迹,以抑制对 ego 状态的依赖。
推荐理由:该研究通过逆运动学架构解决了智驾 VLA 模型依赖 ego 状态捷径的问题,仅用摄像头在 NAVSIM 和 nuScenes 上实现了 SOTA 轨迹规划性能。
本文提出一种神经符号方法,将可微模糊逻辑与深度分割模型集成,把弱标注和领域先验统一为连续逻辑约束以微调 Segment Anything Model (SAM)。
推荐理由:将可微模糊逻辑与 SAM 结合,用弱监督约束生成高质量伪标签并训练无提示分割模型。
arXiv 论文介绍 PointForward 框架,旨在实现高保真驾驶场景重建。该方法初始化稀疏世界空间查询并通过时空融合聚合多视图信息以强制跨视图一致性,引入场景图组织动态实例并利用 3D 边界框实现实例级运动传播。实验显示其在大规模自动驾驶基准上达到最先进水平。材料为 NeurIPS 2026 接收的预印本版本,未报告真实机器人部署结果或具体硬件要求。
推荐理由:提出 PointForward 框架,通过点对齐表示解决多视图不一致问题,在大规模自动驾驶基准上达到最先进水平。
作者发布 CROWD 数据集,收录来自 YouTube 的 10.7 万段未编辑城市行车记录仪片段,覆盖 238 个国家和地区、超 3.6 万小时视频。数据排除事故与剪辑内容,仅保留常规驾驶场景,并附带时间、车型及 80 类目标检测与多目标跟踪的预标注 CSV 文件,支持跨域鲁棒性与交互分析研究。
推荐理由:该数据集提供全球城市行车记录仪片段及预标注目标,支持跨域鲁棒性研究与无视频重分发下的可复现基准分析。
论文提出 DCDD 框架,旨在解决预训练离散 Token 视觉语言模型(VLM)因 VQ-VAE 解码阶段导致的视觉保真度瓶颈。该方法无需重训基础模型,而是利用模型采样前计算出的 Logit 分布作为条件来驱动扩散解码器。
推荐理由:该工作提出 DCDD 框架,在不重训预训练离散 Token VLM 的前提下利用采样前 Logit 分布提升生成图像保真度。
该论文提出了 Multimodal Speculative Decoding (MSD) 框架,旨在解决多模态大语言模型(MLLMs)自回归解码延迟高的问题。针对文本和视觉 token 特性差异,该方法在草稿模型中解耦了两者处理并应用特定策略,同时采用先强化语言建模再逐步引入视觉感知的两阶段训练方案。
推荐理由:提出针对多模态大模型的推测解码框架,通过解耦文本与视觉 token 处理及两阶段训练策略,在保持生成质量的同时实现显著推理加速。
论文提出 TEA-Prompt 方法,旨在解决基于提示词的持续学习中旧知识遗忘问题。该方法通过引入令牌评估模块和注意力行为锚定损失,在不存储旧图像的情况下约束提示词在特定类别查询区域的注意力输出,从而允许参数自由更新同时保持对过去类别的功能。
推荐理由:提出 TEA-Prompt 方法,通过锚定注意力行为实现无回放持续学习,在 CIFAR-100 等数据集上显著降低遗忘。
论文提出 SCALAR 模块,用于解决连续测试时适应(CTTA)中因强化早期预测偏差导致的模型不稳定、漂移或崩溃问题。该方法通过维护近期预测缓冲区并利用 Sinkhorn 算法平衡伪标签的类别分布以匹配目标分布,从而在不改变模型架构的情况下提升稳定性。
推荐理由:提出 SCALAR 模块,通过 Sinkhorn 算法在时间窗口内控制伪标签类别分布,有效缓解在线测试时适应中的漂移与崩溃问题。
针对草图监督分割在固定标注集评估下对语义和几何缺陷鲁棒性不足的问题,作者引入六种受控扰动算子(包括类别腐蚀、空间偏移、方向扰动等)并构建可复现基准。实验显示,在最强设置下,类别腐蚀使 mIoU 从 70.08 骤降至 1.46,而语义锚点腐蚀造成最大性能退化。该基准旨在诊断标注鲁棒性而非仅依赖干净集准确率,代码已开源。
推荐理由:该工作通过审计驱动建立了草图标注鲁棒性基准,量化了语义与几何扰动对分割性能的影响。