Image Guided Depth Upsampling using Anisotropic Total Generalized Variation 提出基于各向异性扩散张量的深度图像超分辨率新方法
该方法利用高分辨率强度图像引导凸优化问题,解决 Kinect 等现代深度相机侧向分辨率受限难题。数值算法经并行化后实现每秒多帧运行,在 Middlebury 2007 数据集上速度与精度均优于现有技术。研究还引入了含高精度真值的新数据集,首次支持基于真实传感器数据的深度超分基准测试。
该方法利用高分辨率强度图像引导凸优化问题,解决 Kinect 等现代深度相机侧向分辨率受限难题。数值算法经并行化后实现每秒多帧运行,在 Middlebury 2007 数据集上速度与精度均优于现有技术。研究还引入了含高精度真值的新数据集,首次支持基于真实传感器数据的深度超分基准测试。
针对多模态检索中视图缺失、噪声或信息不均的问题,提出训练时超图融合框架,连接样本内及语义相关样本间的观测,使表示学习能利用跨样本证据且推理端无需额外成本。实验在 11 个零样本视频 - 文本和音频 - 文本检索基准上验证,加权配置 wRHG 在所有 34 次比较中优于 GRAM,并在 33/34 次比较中优于 HyperGRAM;缺失模态评估下,即使 90% 片段缺一种模态,仍保持正向增益。
针对 SMPL 等参数化模型受潜变量误差与解码器表达能力限制的问题,该研究提出利用初始解码曲面与目标网格间的几何差异进行优化的新框架。其包含三种互补方法:Latent-VaRefine 利用方差梯度修正潜代码,Vertex-VaRefine 基于 DiffusionNet 骨干网络预测标准姿态下的顶点位移,ElaOpt 则在弹性正则化约束下直接优化表面形变。
论文提出 ReVA-HPE 方法解决单目头部姿态估计问题,将任务定义为相对于锚点图像的几何变化估计。该方法通过从单张未标注注册图像重建个性化 Avatar 并渲染已知姿态的虚拟锚点库来消除对真实锚点姿态的需求,利用多锚点共识提供鲁棒的旋转假设,并通过地标 PnP 处理平移分支。
推荐理由:该方法利用合成数据训练实现单目人脸相对 6DoF 姿态估计,无需真实标注即可达到 SOTA 旋转精度。
针对户外三维目标检测在类别增量学习中泛化性不足的问题,本文首次统一分析了 KITTI 和 nuScenes 两个基准下的多阶段增量设置。研究揭示了现有检测器严重的旧类遗忘现象及稳定性与可塑性之间的权衡难题。
针对现有图像基三维重建器仅恢复可见表面、产生大空洞的问题,论文提出 AnchorComplete 框架,利用 TRELLIS.2 基础,结合部分点云条件与全局场景 token 及局部空间证据锚定生成,并在固定窗口内通过由粗到细的度量尺度生成保持全局结构一致性。实验在 Replica 和 SCRREAM 数据集上验证了该方法在稀疏视角设置下优于强基线。
该论文提出 MoSoLoco,一种单帧单目 3D 人体定位器,通过复用姿态检测器的内部视觉特征与检测到的 2D 骨架进行定位,无需额外 RGB 或深度编码器。该方法还引入稀疏同帧多人体情境以修正个体位置估计。
Zichong Zhu 等人提出了 Visual-to-Executable Procedural Reconstruction of Buildings 方法,旨在从野外图像中恢复可执行的程序化建筑描述以生成可编辑的 3D 资产。
推荐理由:该工作提出从单张图像恢复可执行的 CGA 程序以生成建筑资产,为从非结构化数据构建编辑型 3D 模型提供了新路径。
针对离散 3D 高斯函数建模辐射场时深度表现差、几何细节少且易产生浮点的局限,本文提出在由神经网络参数化的连续视差颜色场内学习辐射场的新方法。通过引入颜色域的连续约束与 Lipschitz 连续性限制,促使网络利用低频信号鼓励高频颜色变化以贡献几何建模,摆脱对颜色属性的单一依赖。
针对场景坐标回归(SCR)在鱼眼、全景等不同相机模型间泛化能力差的问题,本文提出 Ray-SCR 方法。该方法将局部视觉特征条件化为校准后的观测射线,并利用稀疏 SfM 点作为度量锚点连接不同视图与相机模型。实验表明,Ray-SCR 显著提升了跨相机场景的泛化性能,在针孔、鱼眼及全景相机设置下均达到最先进定位效果。
推荐理由:Ray-SCR 通过射线条件化与稀疏 SfM 锚点,解决了场景坐标回归在多相机模型间的泛化难题。
MuCHMDPoser 通过引入外部多视角 RGB 相机,解决了仅依赖头戴显示器(HMD)和手持控制器时下肢追踪误差大的问题。该方法实现了无需物理标记的一次性 HMD-相机校准,并在 Nvidia RTX3080 GPU 上达成 60 FPS 端到端动画效果。相关代码已公开,适用于计算机视觉与虚拟现实领域。
论文将单像素成像中的自适应压缩感知任务重构为贝叶斯序贯最优实验设计(sOED)的强化学习问题,通过智能体学习策略直接映射当前图像后验信念到下一个最佳二值测量模式。研究评估了该框架在不同参数化下的可扩展性,并探讨了近似后验信息和噪声干扰对性能的影响,提出了针对生物医学应用的额外约束策略。
该方法提出一种 GPU 原生体素视频系统,将 TSDF 融合、Marching Cubes 及纹理映射等全流程驻留于 GPU,无需数据回传主机。在 CMU Panoptic 数据集上,其速度优于所有测试基线,峰值加速超过 CUDA-accelerated nvblox 和 CPU-based Open3D 一个数量级,且感知重渲染质量接近离线基准。
MS-DOTT 是一个包含长距三维传感、短距精细感知及 4D 雷达测速的非道路多模态数据集,覆盖正常光照、低照度与无光条件。研究团队利用该数据适配了最先进多传感器融合方法以进行通过性估计,旨在推动非结构化环境下的机器人感知与多传感器融合研发。
针对姿态驱动的人类视频扩散模型难以在大幅变姿时保持身份一致的问题,该研究提出一种无需主体视频、真实标签或地面真值的个性化方案。通过域调整的姿态条件生成器合成关键姿态下的伪真值帧,利用推理时的参考仅采样器引导候选帧以维持身份一致性,并基于静态片段训练每个主体的低秩适配器。
推荐理由:该工作提出在测试时利用自生成监督实现单图个性化视频扩散,无需主体视频或标签即可提升身份保持与动作一致性。
该研究在 Fit3D 数据集上系统评估了 TCPFormer、PoseMamba-L 和 MVGFormer 等模型,结合 RTMPose/YOLO-Pose 检测器及三种时序滤波器。实验表明,2D 检测质量、时序建模与后处理需联合优化以提升动作分析精度与鲁棒性。论文共 24 页含 11 图 7 表,代码权重暂未公开。
PhotoGuider 提出一种测量后取景方法,利用基础模型和任务特定视觉模型提取特征并结构化为主题、构图、美学和完整性四个摄影标记。该方法微调多模态大语言模型生成基于图像的构图相关解释,是首个将 360 度全景中的显式构图方向选择与精细取景、原生重渲染相机参数输出及测量条件解释相结合的方法。
AnchorHEC 提出一种仅需 RGB 图像、正向运动学及内参的无标记手眼标定框架,通过共享三维基础模型重建初始化双相机并约束手腕束调整。仿真实验显示,相比基于重建的基线方法,该框架在三种骨干网络下平均将平移与旋转误差分别降低 86.4% 和 71.6%,且已在物理机器人上完成验证。
该研究评估了八种预训练单图像超分辨率(SISR)方法在红绿近红外(RGN)作物影像中的表现,未进行微调。实验显示 Transformer 基法(HAT、HiT-SR、SRFormer)在整体及叶片区域重建中显著优于 GAN 和扩散模型(p < 0.001),且能保持光谱保真度与植被指数可靠性。
论文介绍 Solv3R,这是一种循环 Transformer 模型,旨在解决传统结构从运动(structure-from-motion)重构中难以扩展和迭代优化的问题。该模型通过学习独立的更新算子,能够联合优化已处理和新增的视角,支持离线重建、增量重建、重定位及流式处理等多种任务,且无需针对特定任务进行训练或添加模块。代码与模型将公开提供。
该方法通过在冻结 JAFAR 上采样器前引入读空干预,使空间注意力权重适应而保持粗粒度分类输出不变。在 PASCAL VOC 和 Cityscapes 数据集的三组种子实验中,相比后上采样适配,mIoU 分别提升 0.807 和 1.413 个百分点;跨数据集与 JAFAR、AnyUp 上采样器对比基线,平均增益达 1.379-1.987 个点。
针对城市摄影测量点云处理中局部 3D 补丁限制上下文的问题,作者提出 Aerial Content-Aware Sample-Adaptive Classifier (ACASAC)。
推荐理由:提出决策级自适应分类器以融合投影与点云表征差异,在两个基准数据集上提升 mIoU。
针对远距离稀疏区域噪声传播、局部高频细节丢失及边界伪影问题,该方法提出空间门控融合与多粒度协同感知模块。实验显示其在 KITTI-360 和 nuScenes 数据集上的交并比(IoU)分别达到 0.4703 和 0.3593,验证了基于范围图像超分辨率重建稀疏户外点云的可行性。
该论文提出 GaussFlaw-80K,这是首个针对 3DGS 渲染伪影的大规模数据集,包含 80,049 个标注了像素级掩膜和八类缺陷标签(几何、混合及光度退化)的伪影区域。
针对直立图像训练的描述符在大平面旋转下失效的问题,本文提出配对相对部分等变性(pair-relative partial equivariance)及 PaSteer 框架。
该论文研究了在无目标标注的 3D 表面检测任务中,子空间表示如何促进从合成缺陷数据到真实数据的迁移。作者利用最近子空间分类器、单类模板子空间和广义差异子空间等工具,在 MVTec 3D-AD 数据集上发现图像级检测处于随机水平且阈值无法保持,但在 Real3D-AD 对象上,基于注册模板的单类子空间在无基准训练下达到了较高的点 AUROC。研究结果表明,参考及其注册的重要性超过了子空间本身。
针对内窥镜设备差异及低对比度病灶等挑战,Attention Residual U-Net 通过抑制无关背景响应并融合残差传播与注意力过滤机制,在多数据集上实现优于现有最先进方法的检测效果。实验显示该方法在受试者工作特征曲线下面积(AUC)指标上提升最高达 22.0%,有效增强了复杂临床条件下的病灶定位鲁棒性。该研究作为计算机视觉领域的预印本发布于 arXiv,代码与权重开放许可情况待进一步确认。
针对现有低光照增强模型受限于非真实采集条件的问题,本文提出 3L-Dataset,这是一个通过模块化、传感器无关框架生成的物理校准低光图像和视频数据集。测试台架忠实复现了从满月(约 1000 mlx)到无月阴天夜(约 0.1 mlx)的 Midavaine 夜间等级标准,覆盖可见至近红外光谱及多种真实环境。
该研究提出一种无需语义监督的表征驱动方法,利用预训练模型特征图经奇异值分解生成的像素级主表示图(PRMs)来挖掘不同粒度的有意义区域。论文引入基于轮廓原理的语义连续性率(SCR)量化簇内及簇间一致性,并在 COCO-2017 和 VOC-2012 验证集上以匈牙利匹配交并比(HIoU)评估,结果显示该方法在多个粒度下具有竞争性分割性能。
arXiv 发布了一篇关于 TME-ContextNet 的多任务框架研究,旨在解决计算机病理中需要精确边界和邻域信息以区分形态相似细胞类型的难题。该方法利用现有核注释通过欧几里得距离变换扩展为密集目标,无需额外组织区域标注;结合局部 - 全局上下文模块与分组任务解码器以减少冗余计算。
PriCBMs 通过引入隐私相关概念作为中间语义表示,解决多标签视觉隐私识别中类别与物体不对应及线索分布分散的挑战。该模型在 VISPR 和 FineViP 数据集上优于所有评估竞品,并在四项多标签指标上取得领先表现。代码已公开,论文为 arXiv 预印本状态。
该研究提出了 OctreeSplat 方法,这是一种层级八叉树引导的前馈高斯泼溅技术,旨在解决固定分辨率限制局部复杂度分配的问题。该方法从冻结的视觉基础模型中提取多视图特征和几何先验,构建层级八叉树并预测稠密化分数,从而根据局部复杂度在空间上变化密度地分配高斯原语。
推荐理由:提出层级八叉树引导的前馈高斯泼溅方法,利用冻结视觉基础模型提取特征并预测稠密化分数,在多个基准上实现高质量重建。
ReinSeg 框架在 STU 基准测试中将验证平均精度从 27.54% 提升至 35.67%,并将 95% 召回率下的假阳性率由 34.85% 降至 10.61%。该方法在缺失、损坏或相机未对齐输入下仍优于纯 LiDAR 性能,以 21.8 FPS 运行速度显著缩小了高召回筛选集规模。
UniCross3D 提出统一跨视角和跨域扩散框架,通过惩罚潜在方差强制多视角几何一致性,并利用基于成像物理的互信息目标对齐合成颜色法线与法线。实验显示该方法在纹理复杂及视角模糊场景下,相比最先进方法显著提升了视图一致性与语义对齐度,生成了高保真三维重建结果。
论文 SeMo3D 提出选择性建模范式,将 3D 生成、编辑和补全统一为在选定区域合成内容而保持其余部分不变的任务。该方法无需配对数据即可训练,利用区域选择性去噪和多条件扩散 Transformer(Omni3DiT)架构融合图像、文本和点云引导。实验表明其在三个基准测试中超越最先进方法,具备多模态可控性并在编辑与补全任务上保持强一致性和准确性。
该研究报告了 PixelBench 基准,评估大语言模型在无专用图像解码器的情况下直接通过词汇表生成 RGB 像素的能力。研究发现强模型在文本到像素任务中能直接生成可识别图像,且像素理解能力与生成性能高度相关。作者还提出了像素重建微调(PRT)方法,通过混合指令数据提升模型在视觉基准上的表现,表明显式像素重建可作为有效的辅助监督信号。
推荐理由:该报告提出 PixelBench 基准与 PRT 微调方法,证明大模型无需专用解码器即可直接生成像素图像。
Virtual Box 通过允许用户独立操控视角来检查亚表面目标,在受控组织体模实验中使三维定位误差从 12.92 mm 降至 4.96 mm(降幅 61.6%),深度误差从 9.48 mm 降至 2.07 mm(降幅 78.2%)。尽管任务完成时间增加,空间理解与置信度评分显著提升,该技术为手术导航提供了更高精度的亚表面解剖结构定位方案。
该论文研究了量子启发式计算机视觉在现代人脸验证中的应用,指出单纯张量化无法建立所需低秩结构。研究通过两个接口评估模型放置效果:一是跨模型嵌入对齐,在 64K 参数预算下,稠密 Ridge 映射的均值方向 AUC 为 0.9297;二是构建局部描述符对应张量,几何感知对称张量链以 122 个可训练参数实现 LFW AUC 0.9802。
论文提出了 EvoOcc 框架,旨在解决自动驾驶中高精度与低延迟难以兼顾的问题。该方法将占用预测建模为连续时间控制动力学系统,分解为自我状态演化以补偿坐标偏移和场景状态演化以捕捉真实几何变化。实验表明,EvoOcc 在三种快慢系统组合及不规则预测到达场景中,均能显著优于快速系统基线并保持更低的延迟,实现了良好的精度 - 延迟平衡与稳定行为。
推荐理由:该工作提出 EvoOcc 框架,通过控制动力学将快慢系统融合以平衡精度与延迟。
Blueprint2CAD 是一个针对工程图纸与 CAD 渲染图对应关系的新基准,包含 BlueCAD-30K 数据集(基于 29,925 个 Zero-to-CAD 模型生成)。