直线并非相机位姿:对短片段位姿基准的审计
Xinyi Shi 在 arXiv 发布论文,指出绝对轨迹误差(ATE)作为相机运动标准指标的局限性。研究发现,在恒定速度假设下,简单将预测轨迹拉直反而能降低 ATE 得分,且该指标忽略相机朝向导致几何评估失真。作者提出一种修正后的位姿锚定 ATE 方案,能更准确地追踪重投影误差并区分不同模型性能。代码、预测结果与数据将在后续发布。
推荐理由:该研究指出绝对轨迹误差指标存在缺陷,提出一种修正方案以更好评估几何精度。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
Xinyi Shi 在 arXiv 发布论文,指出绝对轨迹误差(ATE)作为相机运动标准指标的局限性。研究发现,在恒定速度假设下,简单将预测轨迹拉直反而能降低 ATE 得分,且该指标忽略相机朝向导致几何评估失真。作者提出一种修正后的位姿锚定 ATE 方案,能更准确地追踪重投影误差并区分不同模型性能。代码、预测结果与数据将在后续发布。
推荐理由:该研究指出绝对轨迹误差指标存在缺陷,提出一种修正方案以更好评估几何精度。
论文提出了 TAP-Out 方法,这是一种离线算法,利用生成式视频外推作为世界模型先验来解决目标离开相机视场后的跟踪问题。该方法将窄视场输入视频外推为完整的 360°全景视频,通过视频对象分割定位目标,并合成以物体为中心的视角裁剪供标准帧内跟踪器运行。
推荐理由:该工作提出利用生成式外推构建世界模型先验,在 TAPVid360 基准上实现离屏目标跟踪的最优性能。
arXiv 预印本发布了一种名为 Déjà Vu 的测试时解码模块,旨在提升跨图像语义关键点匹配的精度。该方法将匹配问题重构为‘先召回后重排序’流程,利用大模型特征中零样本能力优于贪心选择的特性,通过自适应候选集和循环一致性评分进行优化。实验显示其在 SPair-71k 等基准上显著提升了 [email protected] 与 Keypoint Average Precision 指标。
推荐理由:提出测试时重排序模块,利用循环一致性解决语义匹配解码瓶颈。
针对机器人生成的平面图缺乏建筑知识评估的问题,作者将行业生产软件中的接受规则编码为六项固定顺序的检查,并校准房间形状限制以匹配真实公寓的 5% 拒收率。研究在四项生成器和两个真实数据集上验证发现,仅凭比例检查即可拒绝 33.7% 的 House-GAN++ 平面图,而现有邻接关系指标无法反映这些缺陷。作者已开源校验工具 floorcheck v0.1.1,但指出通过检查并不等同于实际工程验收。
推荐理由:作者将建筑规范编码为六项检查,揭示现有生成模型在比例与合规性上的缺陷,并开源了校验工具。
针对大视觉语言模型推理中冗余视觉 Token 导致计算量大的问题,本文提出 CausalPrune 框架。该方法将推理建模为结构因果模型,引入因果 Token 重要性评分(CTIS)来估计干预每个视觉 Token 的平均处理效应,并利用后门调整缓解跨模态混淆。
推荐理由:提出基于反事实因果的视觉 Token 剪枝框架,通过结构化因果模型区分关键与虚假关联 Token,在降低计算量的同时保持多模态性能。
Sign Language Translation 研究通常局限于预分割的片段,导致模型脱离连续交流现实。本文正式定义 Streaming SLT 任务,并提出 StreamSLST 首个端到端框架,通过可变形 Transformer 架构在单次前向中联合优化时序分割与翻译。
推荐理由:该工作提出首个端到端流式手语翻译框架,在真实与合成数据集上验证了联合优化优于级联方法。
该论文提出一种利用单目摄像头结合空气阻力模型和球场几何信息来估算羽毛球速度的方法。通过拟合重力与阻力轨迹,并利用球网平面约束优化,该方法将相对于立体视觉参考的绝对速度差异中位数从13.3%降低至8.6%,验证了融合运动学与动力学进行单目测速的有效性。
推荐理由:该方法结合空气阻力与场地几何,利用单目视频将羽毛球速度估算误差从13.3%降至8.6%,为低成本运动分析提供新路径。
论文提出 CARe 方法,通过引入由目标特征二阶矩诱导的马氏距离几何来替代传统的余弦相似度评分,解决各向异性特征分布下高方差方向主导评分的问题。理论证明在共享协方差的 Gaussian 模型下,该方法与贝叶斯最优线性判别一致,且在特征各向异性显著时增益最大。实验显示 CARe 在标准及细粒度分布偏移基准上均优于基线余弦评分,且效果随特征各向异性增强而提升。
推荐理由:针对测试时适应中各向异性特征分布的局限,提出基于协方差的几何修正方法 CARe 以替代余弦相似度评分。
宾夕法尼亚大学工程师开发出名为“快速特征场”(Fast Feature Field,简称 F3)的通用计算工具,旨在解决事件相机数据处理难的问题。该工具能将事件相机每秒产生的数千万个信号转化为各类机器人可用的数据信息,有望在自动驾驶汽车、无人机等平台上广泛应用,显著提升机器人在多种光照条件下识别物体、估算距离以及感知运动的能力。相关成果已发表在期刊《科学 - 机器人学》上。
推荐理由:宾夕法尼亚大学推出通用计算工具F3,将事件相机数据转化为机器人可用信息,有望提升多光照条件下的感知能力。
论文提出 SAGA 方法,利用稀疏锚点辅助高斯泼溅表示实现动态场景的体素视频压缩。该方法采用分层稀疏锚点构建时空骨架,通过核插值生成精细特征并共享参数,结合正交性感知槽位更新策略捕捉长程依赖以优化熵编码。在 Neu3D 测试集上,相比 GIFStream、TED-4DGS 和 OMG4,其基于 PSNR 的 BD-rate 分别降低了 90.88%、64.30% 和 65.14%。
推荐理由:提出基于稀疏锚点的体素视频压缩新架构,在 Neu3D 数据集上显著降低比特率。
该论文介绍 GUI-Lens 框架,旨在解决通用视觉语言模型(VLM)在高分辨率、高密度界面中难以精确定位目标的问题。方法从截图提取 OCR 文本和 UI 组件作为坐标参考,利用指令和当前视图让 VLM 选择并裁剪放大下一区域,通过多轮聚焦逐步确定目标位置,最后将局部坐标映射回原屏幕。
推荐理由:提出粗到细裁剪框架,使通用 VLM 在高分屏 GUI 任务中定位精度提升显著。
针对稀疏视角户外场景下高斯泼溅(Gaussian splatting)重建的挑战,本文提出 AdaGS 框架以解决扩散引导重建中易将伪影误判为真实结构的缺陷。该方法引入感知伪影的双阶段适配器,在扩散修复前抑制漂浮物视觉线索;采用双向置信度融合机制,仅当生成区域获得跨视角几何证据支持时才接受其结果;同时利用高斯稳定化策略衰减多视图不一致的高斯分布,防止后续优化中反复触发幻觉。
推荐理由:针对稀疏视角无位姿重建中扩散模型易产生幻觉的问题,提出基于置信度门控的自适应框架以抑制伪影并提升渲染保真度。
该研究指出强化微调后的大视觉语言模型在多模态思维链中常出现视觉信息不准确但答案正确的现象,归因于奖励机制仅激励格式而忽视正确性。作者提出一种无需标注的 SCCM 学习方法,鼓励生成充分且独立的视觉组件以支持推理,并在多个感知与推理基准上显著提升了视觉忠实度。代码已开源。
推荐理由:针对大模型多模态思维链中视觉信息不准确的问题,提出无需标注的 SCCM 学习方法以增强视觉证据的充分性与独立性。
针对单张照片无法获取多帧信息的限制,本文提出 PBSR 方法,利用零样本新视角合成技术生成具有真实视差的伪多帧序列,并结合几何感知对齐模块与抗伪影微调的超分骨干网络进行重建。实验表明该方法在 BurstSR 数据集上相比单帧基线显著提升了 PSNR、SSIM 和 LPIPS 指标。论文已接受发表于 New Generation Computing。
推荐理由:提出利用零样本新视角合成生成伪多帧,使单图超分任务获得类多帧重建效果。
本文提出 Any Forcing 框架,旨在解决现有自回归视频生成方法受限于固定采样步数、单步生成质量下降及长序列内容漂移的问题。该方法引入统一对抗判别器以对齐真实分布并增强首帧质量,同时采用无需训练的自适应长期记忆选择机制,基于全局语义与局部价值贡献筛选历史状态并重映射时间位置,从而在保持时序关系的同时实现稳定的单步长视频生成。
推荐理由:提出 Any Forcing 框架,解决自回归视频生成中固定步数与单步生成的矛盾,实现灵活采样并保持高质量。
论文提出 MoETok,这是一种针对 1D 视觉 Tokenizer 的稀疏专家路由方法。研究揭示查询在语义监督下自发分化为 Content(内容)和 Detail(细节)两类角色,路由器据此学习适应不同 token 表示的特化处理路径。
推荐理由:该工作揭示了查询在语义监督下自发分化为内容与细节两类角色,并提出稀疏专家路由机制以提升重建与生成性能。
该研究调查了最先进的开源权重多模态大模型(MLLMs)在蚂蚁合成图像中比较身体部位大小的能力。结果显示,尽管视觉对比本身很简单,但模型对无法识别的身体部位会失败,因为无法识别的结构被关联到了可识别的语义概念上,导致定位和比较受损。研究分析了上下文学习策略并发现细粒度视觉结构缺乏语义支持时保存较差,表明当前 MLLMs 存在由语义识别限制简单视觉比较的局限。代码和数据已公开。
推荐理由:研究发现语义识别能力会阻碍简单的视觉比较任务,揭示了当前多模态大模型在生物图像分析中的底层局限。
论文提出 PGGT(Primitive-Grounded Geometry Transformer),解决地图原型与视觉观测间的模态差距,实现单图输入下的前馈 6-DoF 相机定位。该方法在密集表面图和极简布局模型上均达到最先进性能,代码与模型已开源。材料为 NeurIPS 2026 接收的预印本,未报告真实机器人部署结果或具体实验数据。
推荐理由:提出基于平面原型的几何 Transformer,实现单图前馈式 6-DoF 定位,在密集表面与极简布局模型上均达到 SOTA。
Zixiong Wang 和 Haiping Ma 在 arXiv 上发布论文 A Patch is More Than a Token,提出 PMTT 框架以扩展视觉 Transformer 的单 Token 接口。
推荐理由:该文提出 PMTT 框架,证明预训练视觉骨干网中补丁信息远超标准单 Token 接口暴露的内容。
该研究提出了 CoFailMed 框架,对五个二维医学图像分割任务中的 11 个预训练编码器进行了失效相关性审计。研究发现,即使模型平均精度和数量不同,它们仍可能在相同案例上共同失效;共享检查点的模型对 Dice 相关性最高,而跨家族编码器的依赖关系甚至可能随微调增强。研究提供了对齐的案例轨迹、分析脚本及代码以复现审计结果,并建议评估报告应包含绝对依赖度和阈值特定的有效池大小。
推荐理由:本文通过审计预训练编码器池,揭示了不同模型在医疗分割任务中存在共享失效模式的现象。