语言即传感器:基于自然语言的三维场景校准空间信念估计
论文提出语言传感器模型(LSM)将自然语言描述映射为包含指代歧义与空间不确定性的多模态分布,并引入 VL-Map 框架将其作为随机观测与车载感知融合。在 VLA-3D 基准及真机实验中,该方法使目标物体位置预测的概率质量较最强基线提升约 70%。材料仅基于 arXiv 预印本发布,未提及同行评审状态或具体部署许可。
论文提出语言传感器模型(LSM)将自然语言描述映射为包含指代歧义与空间不确定性的多模态分布,并引入 VL-Map 框架将其作为随机观测与车载感知融合。在 VLA-3D 基准及真机实验中,该方法使目标物体位置预测的概率质量较最强基线提升约 70%。材料仅基于 arXiv 预印本发布,未提及同行评审状态或具体部署许可。
论文介绍 DisPOSE 框架,通过可微 Sinkhorn 投影将离散的多人分配问题转化为生成式扩散过程,利用超图卷积解码器回归完整骨架。该方法在标准数据集及新提出的手术室高遮挡基准上优于现有自监督方法,仅需 10% 伪标签即可保留 99% 性能,且对相机布局不敏感。材料已接受于 ICML 2026,提供 arXiv 链接与代码入口。
推荐理由:提出 DisPOSE 框架,将多视角人体姿态分配建模为扩散过程,在手术场景遮挡基准上表现优异且标签效率高。
论文提出 RigPAPR 方法,旨在将高保真静态神经点重建(如 Gaussian splats)转化为可驱动的 3D 资产。针对传统 LBS 变形在关节处易产生伪影的问题,该方法利用 PAPR 表示无需每个原语携带独立形状,能在渲染时自然重构表面以适配动作。
该论文提出一种针对三维汽车激光雷达数据的零样本开放词汇语义分割新方法。为规避视觉语言模型固有的图文模态差距,该方法利用文本生成图像创建原型,并通过蒸馏自二维视觉基础模型的 3D 网络匹配点云特征与 2D 原型图像特征进行标注。方法在 nuScenes 和 SemanticKITTI 数据集上达到最先进水平。代码、预训练模型及生成的图像已公开。
该论文提出 TopoGS-SLAM,通过覆盖触发的初始化与受控拓扑优化解耦了精度提升与表示增长,解决了传统残差驱动方法中精度饱和但内存持续增长的问题。在标准室内基准测试中,该方法在定位和重建精度上匹配或超越现有稠密化流水线,同时大幅提升了内存可扩展性和吞吐量,表明在具有足够多视角覆盖的有界区域静态室内场景中,无需迭代拓扑突变即可实现准确的高斯 SLAM。
GenTrack2 提出了一种结合随机粒子滤波与确定性关联的视觉多目标跟踪方法,通过融合运动一致性、外观相似性及社交交互线索解决非线性动力学下的标识符一致性问题。该方法支持预录制视频与无未来帧的实时流灵活运行,实验结果显示其性能优于最先进跟踪器,源代码已在 GitHub 开源。
针对现有基于检测的跟踪方法在遮挡和近距离交互场景下表现不佳的问题,本文提出 DepTR-MOT 模型。该方法通过基础模型的实例级软深度标签监督及稠密深度图蒸馏策略,将深度感知嵌入 DETR 架构,无需额外训练或推理阶段即可输出实例级深度信息。
针对现有 AI 生成图像检测器泛化性不足的问题,本文提出 NS-Net 框架,利用 CLIP 视觉特征的零空间投影解耦高层语义信息,并通过对比学习捕捉真实与生成图像的分布差异。
该研究提出结合改进的 Affine Scale-Invariant Feature Transform(ASIFT)与双相机结构光法,在三维建模中实现 99.9% 的相机运动轨迹准确率。该方法通过提取更多匹配点并修正旋转误差,有效解决了大视角变化下的对齐难题。论文已撤回待修订,目前无 PDF 可供下载。
HierViT 模型通过预测临床视觉属性并结合层级推理,在 LIDC-IDRI 肺结节与 derm7pt 皮肤病变基准上取得竞争性性能。该架构利用属性特定原型与注意力图可视化中间表征,将图像示例、空间关注区域与语义特征关联以支持预测解释。arXiv 预印本提供代码与权重下载,适用于高风险医疗领域的可解释性需求。
针对非结构化表格识别中低质量图像输入成为瓶颈的问题,研究提出基于分层设计哲学的 NGTR 框架与基准。该框架通过迁移相似邻居的工具选择经验并引入反思模块监督工具调用,在无需训练的公开数据集上显著提升了原生视觉大语言模型的识别能力。相关成果已发表于 IJCAI 2025,代码与权重开放许可情况需查阅论文原文。
论文提出了 STATIC 模型,旨在解决传统单目深度估计模型在视频序列中缺乏时序一致性的问题。该方法利用表面法线作为内在几何线索,生成深度衍生的几何感知差异掩码以识别帧间几何变化区域。
推荐理由:该工作提出利用表面法线引导的双分支对齐与时间整合方法,在仅用相邻帧的情况下实现了视频深度估计的时序一致性。
VisFlow 提出一种结合连续 SDF 表示与显式多边形演化的新型可解释流公式,解决几何扰动导致离散表示突变的问题。该方法在可见性重建任务中保持比最先进方法多 20% 的可见关系,在可见性表征任务中将覆盖率提升 30%。研究已在 arXiv 提交(arXiv:2610.31892),专注于计算几何与计算机视觉领域的连续表示学习挑战。
Sense-Aligned Grounding Evaluation (SAGE) 提出统一图像选择基准,涵盖名词、动词及实体中心 grounding,引入难负样本与 VerSe 诊断。
FlexGlue 是一种用于图像间对应关系估计的神经网络,解决了传统方法在重复性与鲁棒性之间的权衡问题。该方法通过非对称稀疏到稠密匹配,结合子像素精度与稀疏速度,同时具备高精确度的错误对拒绝能力。实验表明其在相对位姿估计、结构运动(SfM)和视觉定位任务上均优于现有方案。论文已公开于 arXiv 平台。
VTRL-Med 提出一种结合 SAM 特征提取与持久同调拓扑分支的框架,通过原型选择与 KNN 一致性验证生成伪标签。该模型在 13 个基准上平均准确率提升 4.48%,其中拓扑引导正则化额外带来 1.3%–4.3% 增益。目前为 arXiv 预印本,代码与权重暂未开放。
OpenStripe 是一个多智能体框架,能重构东北虎躯干二维图案并编码断点、分叉等四种可解释局部条纹结构。该模型在黑龙江东北虎豹国家公园近三分之一种群(28 只老虎共 100 张相机陷阱记录)上测试,实现了 0.90 的匹配准确率和 0.85 的调整兰德指数,优于 49 种基线配置。研究还发现条纹相似度随地理距离增加而下降,建立了自动个体分组与空间表型谱分析的联系。
论文提出 CompMVR 框架,针对现实世界多视图重建中因有损压缩导致的跨视图几何不一致问题,利用学习到的压缩先验和跨视图对应关系联合优化视图以恢复视觉细节并提升几何可靠性。实验涵盖多种数据集、编解码器和压缩等级,在图像恢复质量及新视角合成、相机位姿估计等下游任务上均取得增益。代码与数据已公开,论文已被 SIGGRAPH Asia 2026 接收。
SREdit 提出一种高效的场景响应引导框架,通过估计重建场景的响应图来优化基于投影的外观编辑质量。该框架在两个预训练图像编辑器上实验表明能提升投影外观质量与复现保真度,每张图片增加不到一秒且显存开销可忽略。用户研究一致显示参与者更偏好 SREdit 生成的结果。
SCDM-HTD 将超谱目标检测重构为生成检测图任务,利用背景与目标置信度作为样本、像素光谱作为引导条件,通过轻量化多感知层去噪网络加速生成。该方法引入复合损失函数融合约束能量最小化与二元交叉熵以增强目标显著性并抑制背景。在四个基准数据集上的实验表明,其在定量指标和定性视觉效果上均优于现有方法。
该论文提出 CityLift 框架,旨在从单张图像生成具有连贯空间排列和详细纹理的建筑网格。方法通过耦合场景级空间建模与建筑级合成,先联合学习形状与布局生成稀疏结构,再利用生成式空间继承将局部体素映射到流模型以细化结构,确保生成的网格在公共坐标系中保持相对位置关系。
该研究提出 SemGeo-Gen 方法,旨在从仅具粗略类别级旋转对齐的弱对齐 3D 物体集合中自动生成具有语义意义且几何一致的近似跨实例对应关系。该方法将多视图 DINOv2 特征提升至 3D,利用连续分段仿射配准对齐物体实例,并通过语义一致性剪枝候选匹配。
推荐理由:该工作提出无监督生成近似跨实例语义几何对应关系的方法,利用弱对齐的3D物体集合替代昂贵的人工标注,为现代对应模型提供可扩展的训练监督信号。
DriveOSS 是首个专为自动驾驶设计的 3D 异常分割和开放集语义分割数据集与基准,旨在解决现有方法在未知物体场景下的不足。该数据包含由六路环视 RGB 相机、128 线激光雷达及 GPS/IMU 采集的 12,661 帧同步标注图像,涵盖晴、夜、阴、雨、雪等 52 个真实驾驶场景。
推荐理由:DriveOSS 发布首个面向自动驾驶的 3D 异常分割与开放集语义分割数据集及基准,包含多模态数据与 ID/OOD 子集划分。
该方法针对全向图像实时解码需求,利用 HEALPix 解决传统 ERP 投影的非均匀采样问题,并引入跨尺度条件熵模型与多环球面卷积提升效率。实验显示其相比 VVC 在 V-PSNR、V-MS-SSIM 和 V-LPIPS 指标上分别降低 BD-rate 16.3%、26.5% 和 19.5%,较 Cool-Chic 5.0 的 V-PSNR 再降 13.1%,解码速度提升 2.6-3.6 倍。
针对第 3 届 WEAR 数据集挑战,该报告分析了 shuffled multimodal windows 系统的离线归纳误差。在参与者级模拟中,特征堆叠使宏观 F1 提升 0.051,软计数约束再增 0.011;二次接缝距离虽能正确排序约 720 个候选中的 83.9%,但对最终分数影响微乎其微。系统配置在仿真中得分 0.936,提交版本得分为 0.938,其中部分错误涉及空类标签。
该论文针对自监督 Vision Transformer(如 DINO)在物体部件发现中边界不精确的问题,提出 Part-DINO 框架。该方法无需训练,直接利用低层图像分割提供的几何边界信息对图像区域进行划分,并在各区域内池化 DINO 特征以发现部件。
针对 3D 多模态大模型在几何相似物体上依赖模式匹配而失效的问题,论文提出 PFIR(Part-level Functional Inference for Recognition)方法。
该方法将 ARAIM 解算与保护水平计算扩展至紧耦合因子图优化后验,利用 Woodwood 更新在无需重优化的情况下处理故障假设。两项道路实验显示,名义序列在有效时段实现 100% 水平和垂直经验界值,最大误差比达 0.96。相比直接全状态反演,该方法将评估与求解时间减少 65.2%,并在注入故障时安全无效化保护水平以维持导航。
针对现代自动驾驶系统广泛采用的多视角鸟瞰图(BEV)3D 感知模型的鲁棒性不足问题,本文提出 BEVCA 框架。该框架结合基于 BEV 特征的对抗损失与多视角神经渲染模块,实现了跨模型和任务的对抗伪装攻击。实验表明,该方法在数字及物理环境中均优于现有基线且具备强鲁棒性。代码已开源。
针对自回归视觉语言模型难以将生成文本准确锚定到图像区域的难题,本文提出基于视觉 token 嵌入与解嵌入矩阵行余弦相似度的角相关性(Angular Relevance)可视化度量。
该研究提出一种感知前端,在商业转盘式挤奶厅的 RGB-D 帧中单次前向传播即定位奶牛及十个骨性标志点和四个背部区域。模型在自建数据集上 PCK@10 达 0.905、区域 IoU 为 0.70-0.91,T4 GPU 端对端推理耗时 26.4ms。在西澳大利亚最大奶牛场实地验证中,仅需十个标注帧即可迁移(PCK@10 0.84),并将区域深度映射至热成像相机实现单点测温。
arXiv 发布 RADIANT 论文,提出一种基于物体表征的神经网络渲染器,无需每场景优化或运行时光线追踪即可合成新场景的全局光照。该架构将每个物体表示为 32 个表面补丁 token,利用 SE(3) 不变的内积嵌入几何距离与朝向以捕捉光传输,避免了对多边形数量的二次方依赖。
推荐理由:提出基于物体表征的前馈全局光照架构,在同等算力下训练步数更少且精度更高。
arXiv 发布的一篇计算机视觉论文提出了 XAVAD 方法,旨在解决隐私保护视频异常检测(VAD)的可解释性难题。该方法集成了灵活的零样本匿名化、异常类型分类、视觉定位及场景上下文描述。
NUViT 通过重构图像分块、数据表示与位置编码,解决了标准 ViT 在傅里叶空间数据上适配性差的问题。实验涵盖傅里叶域分类、2D 晶体晶格识别、MRI 标注及冷冻电镜蛋白异质性分析,结果显示其结构捕捉能力优于现有架构。该预印本论文发布于 arXiv,代码与权重开放许可状态待进一步确认。
该研究提出一种利用合成数据训练并迁移至真实监控图像的文本化人员异常搜索框架,通过 Qwen3-VL-Embedding-8B、SigLIP2 及 Qwen3-VL-Reranker-8B 实现检索与重排序融合。系统在 AI City Challenge 2026 Track 4 测试中取得 94.7815% mAP 和 90.8493% R@1,位列公开排行榜第八名。
PixGR 是一种高效框架,将轻量级像素空间生成建模集成到前馈 3D Gaussian 重建中以模拟场景不确定性。该方法通过一次编码上下文观测为场景潜在表示,条件化地从噪声目标视图进行生成解码以产生共享的 3D Gaussian 表示。
论文提出 SAGE(Semantic-to-Action Grounded Execution)框架,通过解耦生成器构建候选路径,并利用 VLM 轨迹作为偏好筛选符合临时管制的路径。
针对计算机视觉中从三维到二维对应关系估计相机位姿(PnP)的问题,现有方法要么求解最小化问题,要么替换目标函数。本文提出 PnP*,这是首个保证高效计算并返回可认证全局最优解的实用求解器。
AudioLift 提出无需参数化人脸模型或实例优化的两阶段框架,利用生成的多视角视频作为中间表示进行音频驱动的头像合成。实验表明该方法能捕捉更极端的表情并提升几何完整性与全 $360^\circ$ 视角的一致性。项目页面已公开,预印本发布于 arXiv:2610.31747v1。
在高度交互的驾驶场景中,现有轨迹预测模型常因错误利用周围交通参与者(如汽车、行人)的信息而降低精度。本文通过 Shapley 归因分析发现模型存在不稳定和非因果决策机制,并提出集成条件信息瓶颈(CIB),在不需额外监督的情况下压缩代理特征并忽略有害信号。多项实验表明该方法能提升预测性能及抗扰动鲁棒性,并提供可解释指标以识别非稳健行为。