Schrödinger's Navigator:面向零样本物体导航的未来集合想象方法
该论文提出了 Schrödinger's Navigator,一种信念感知的零样本物体导航框架。该方法在推理时利用轨迹条件化的 3D 世界模型对多个潜在未来进行想象,维持场景实现的叠加态而非单一地图映射。
推荐理由:提出信念感知的导航框架,利用轨迹条件化的 3D 世界模型想象多未来以解决遮挡场景下的零样本目标导航问题。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
该论文提出了 Schrödinger's Navigator,一种信念感知的零样本物体导航框架。该方法在推理时利用轨迹条件化的 3D 世界模型对多个潜在未来进行想象,维持场景实现的叠加态而非单一地图映射。
推荐理由:提出信念感知的导航框架,利用轨迹条件化的 3D 世界模型想象多未来以解决遮挡场景下的零样本目标导航问题。
Jacob Beattie 等人提出一种基于稀疏自编码器的方法论,旨在从视觉基础模型中挖掘候选特征以支持开放式的科学发现,无需针对特定概念的监督。
推荐理由:该论文提出利用稀疏自编码器对视觉基础模型进行无监督特征挖掘,在三个数据集上验证了发现已知概念及潜在诊断特征的能力。
针对少样本识别中因缺乏验证数据导致模型过拟合的问题,本文提出一种多目标优化验证策略,在提升 ID 任务性能的同时保持对检索 OOD 数据的泛化能力。作者将验证问题形式化为 Pareto 前沿上的操作点选择,并集成到分阶段微调流程 VEST 中。实验表明该方法在五个基准测试的 ID 和 OOD 数据上均优于现有方法。
推荐理由:提出将检索数据作为验证集的多目标优化策略,解决少样本微调中的过拟合与泛化难题。
针对单目深度估计在视频中存在的时序不一致问题,该研究提出 Video Depth Anything 模型。基于 Depth Anything V2 架构替换为高效时空头,通过约束时间梯度设计一致性损失,无需额外几何先验即可实现超长视频(数分钟)的高质量一致深度估计。采用关键帧策略支持长视频推理,在多个基准测试中达到零样本状态最先进水平,最小模型可实现实时性能。
推荐理由:该工作提出 Video Depth Anything,在超长视频上实现高质量一致深度估计,且无需额外几何先验或牺牲效率。
论文针对多模态代码智能领域数据质量与生成管线受限的问题,提出 PrismaForge 分层数据管道,利用分解式评分标准同时作为过滤与奖励机制来构建高质量数据集。基于此构建了 PrismaCoder-2M 最大规模开放数据集,并训练发布 PrismaCoder-9B 和 PrismaCoder-35B 模型,在开源领域大幅领先现有水平且媲美主流闭源系统。代码与数据已公开。
推荐理由:提出基于分解式评分标准的数据合成管道,构建最大规模开放数据集并训练出领先开源界的代码智能模型。
Josh Barua 等人提出一种基于贝叶斯视角的两参数线索组合模型,用于解释视觉语言模型(VLM)如何处理文本与图像之间的冲突证据。该研究将模态偏好建模为条件独立证据的整合过程,并引入模态特异性偏差项。实验表明,该模型无需重新拟合即可准确预测 VLM 在不同输入退化条件下的行为,并能泛化到新的不可靠性形式,成功统一了关于文本主导与视觉主导的现有报告。
推荐理由:该工作提出两参数线索组合模型,从贝叶斯视角解释 VLM 如何整合冲突证据并预测模态偏好。
针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。
推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。
该论文提出 All-St3R SLAM 框架,旨在解决现有动态 SLAM 存在的过度去除和计算成本高问题。系统结合 DUSt3R 的自运动预测与 All-Tracker 的点跟踪结果,仅分析两者差异来移除当前运动的像素区域,允许暂时静止部分用于跟踪。
推荐理由:该工作提出无需预定义标签的像素级运动掩膜方法,在仅用 RGB 输入下实现约 10 FPS 实时动态 SLAM,优于现有稠密方法。
针对现有表示对齐方法在后期层难以有效获取语义的问题,提出一种名为 RECON 的简单解决方案。该方法在训练阶段将预训练视觉编码器 token 输入到后期层;推理阶段复用 MLP 头作为代理并投影输出 token。实验表明,RECON 无需增加任何参数,收敛速度比 SiT 快 63 倍,比 REPA 快 25 倍。代码已开源。
推荐理由:提出无需增加参数的表示条件化方法,显著加速扩散 Transformer 训练收敛。
该论文针对现有模型难以同时兼顾静态 3D 和动态 4D 理解的难题,提出 DynThinker 统一框架。通过解耦指数移动平均(D-EMA)约束干扰敏感参数漂移,并结合语义引导的空间 - 动态融合(SDF)整合时空先验。在涵盖九个静态与动态基准的十项指标中,DynThinker 取得最高平均分,并在 ReVSI、DSR-Bench 及 DSI-Bench 等任务上刷新开源模型记录。
推荐理由:该工作提出统一框架解决静态与动态空间推理的干扰问题,在多项基准测试中取得开源模型最佳平均分数。
现有几何感知的多模态大语言模型(MLLM)通常依赖外部 3D 编码器提供结构先验,但这在推理时引入显著延迟和计算开销。本文提出 GeoThinker-F 框架,通过将因果 MLLM 隐藏状态转化为预测性潜在世界表征来内部化时空感知。
推荐理由:该工作提出 GeoThinker-F 框架,通过内部化时空感知消除对外部 3D 编码器的依赖,推理速度提升 3.6 倍。
论文针对交互式视频生成中依赖小双向片段以降低延迟但牺牲质量的矛盾,提出 Speculative Sampling 策略。该方法通过追加噪声潜变量作为填充来扩展建模窗口并缓存预测结果,在保持条件不变时实现预测复用;同时支持增量交付与未来替换。
推荐理由:提出 Speculative Sampling 策略,通过缓存预测与噪声填充平衡大窗口质量与小窗口低延迟,为交互式视频生成提供新优化路径。
该论文提出一种分层分辨率体素映射机制,将 LiDAR 数据同时整合为两种分辨率:机器人当前计划走廊内采用精细分辨率,其余区域采用粗糙分辨率。与传统导航管线不同,该方法建立反馈回路,让规划过程动态指导信息在不同叶节点的整合。
推荐理由:提出分层分辨率体素映射机制,在保持路径规划成本的同时显著降低存储与计算开销。
该论文针对现有指代表达理解基准仅关注最终目标定位、忽视中间视觉参考依赖的问题,提出了轨迹级 REC 新范式与 ReferFlow-Bench 基准。作者提出 ReferFlow 模型,通过状态化区域隐变量推理解耦文本潜空间生成与坐标解码,并引入感知地标的 GRPO 优化策略,在通用指代理解基准及自建基准上取得领先性能。材料为预印本论文,未涉及真实机器人部署或产品发布。
推荐理由:提出轨迹级指代理解新基准与解耦生成架构,揭示当前模型在中间参考定位上的不足并提供改进方案。
InfiniSplat v2 针对前馈高斯重建在大视角变化下难以学习高质量属性的问题,提出解耦几何与属性预测的架构。方法在训练时使用真实相机位姿对齐预测高斯,并采用大角度目标视图监督。实验显示,该方法在六个数据集上实现了 SOTA 的 LPIPS 和 DISTS 指标,相比最强基线分别降低 25.8% 和 32.9%。研究还发现仅用图像重建监督学习的透明度会抑制几何不一致点。
推荐理由:该文分析前馈高斯重建在几何与属性解耦上的局限,提出冻结几何分支与大角度监督等新架构,在六个数据集上实现 SOTA 性能。
针对多模态大语言模型(MLLMs)在后门攻击下的脆弱性,现有防御方法受限于对静态快照的依赖及特定启发式规则。本文提出 EVO-Detect 框架,将诊断范式从静态观察转向动态输出演化监测。
推荐理由:提出 EVO-Detect 框架,通过监测解码过程中的注意力流与 logits 流动态演化来检测多模态大模型后门攻击。
该研究提出了一种在水印保护设置下的对抗性人脸规避攻击(PGD-L_2),旨在暴露仅依赖溯源或篡改检测无法保证可靠生物特征身份的结构性缺口。实验在受控面部图像、两种水印方案及两个数据集上评估,结果显示攻击在操作阈值下逃逸率超过 92%,同时保持 StegaFormer 水印恢复率高于 93% 和 FaceSigns 高于 99.7%,视觉质量 PSNR 高于 47dB。
推荐理由:论文揭示了水印有效但生物特征识别失效的结构化漏洞,在保持水印可恢复的同时实现了高逃逸率。
该论文提出了 GLoD-LVSM,一种用于大视角合成模型(LVSM)的紧凑、几何感知的场景表示方法,采用连续细节层级以匹配预算。
推荐理由:提出几何感知的连续细节层级场景表示,在保持渲染质量的同时显著降低 token 数量并加速推理。
该研究针对 cuVSLAM 中视觉与 IMU 残差融合权重固定、无法运行时自适应的问题,引入标量因子 alpha 调整视觉信息矩阵权重。实验发现性能呈现两个经验区域:IMU-TRUST(alpha=1,2)和 VISION-TRUST(alpha=10,20),中间值 alpha=5 为过渡区。
推荐理由:提出轻量级视觉质量估计器,通过自适应调整 cuVSLAM 中视觉与 IMU 的权重分配,在 EuRoC MAV 和 TUM-VI Room 数据集上显著降低轨迹误差。
论文提出了 HM3D-M3 基准,旨在解决现有研究将多智能体、多模态与多目标导航割裂的问题。该基准在一个光真实室内场景中,让 K 个机器人团队从分布位置出发,搜索由类别名、实例图片或口语描述指定的 M 个无序目标。
推荐理由:该基准填补了多智能体、多模态与多目标导航同时存在的空白,提供了千集验证数据及两个基线方法。