WayPOP:一个基于真实 Waymo 数据的全景开放集泛化追踪基准
WayPOP 是一个全景开放集泛化追踪基准,旨在评估智能体对固定语义分类之外物体的分割与追踪能力。该基准基于真实的 Waymo PVPS 序列,并插入了来自 Objaverse 的约 670 个经过筛选的非分类资产(共生成 980 条唯一未知物体轨迹),利用车载相机渲染出包含 53,452 个掩码标注和激光雷达观测数据的跨视角一致数据。
推荐理由:该基准填补了全景开放集追踪的空白,揭示了现有方法在未知物体跨视角关联上的局限。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
WayPOP 是一个全景开放集泛化追踪基准,旨在评估智能体对固定语义分类之外物体的分割与追踪能力。该基准基于真实的 Waymo PVPS 序列,并插入了来自 Objaverse 的约 670 个经过筛选的非分类资产(共生成 980 条唯一未知物体轨迹),利用车载相机渲染出包含 53,452 个掩码标注和激光雷达观测数据的跨视角一致数据。
推荐理由:该基准填补了全景开放集追踪的空白,揭示了现有方法在未知物体跨视角关联上的局限。
该论文提出了 PHIL(Proactive Human-in-the-Loop)框架,旨在通过偏好学习实现主动策略修正与后训练。系统允许操作员在 XR 界面预览策略预测的未来运动并在接管前进行干预;被拒绝的策略预测会与同一状态下执行的修正动作片段配对,用于鼓励策略偏好这些修正。
推荐理由:PHIL 框架通过 XR 界面预览策略预测并允许人工干预,利用偏好学习将修正动作反馈给策略,使扩散策略和 X-VLA 在四项真实任务上的成功率分别提升约 26% 和 19%,且减少了不必要的恢复行为。
Krishnakumar N 和 Jaya Sreevalsan-Nair 在 arXiv 发布论文,研究了将认识不确定性作为特征输入或损失函数权重在 3D LiDAR 点云语义分割中的不同作用。
推荐理由:该工作探索了认识不确定性在语义分割中的多重角色,发现其不仅能提升精度,还能恢复基线模型无法预测的少数类。
针对 CAD 模型非规范朝向导致现有网络鲁棒性不足的问题,本文提出 SO3brep,这是一种在 B-rep 面邻接图上运行的 SO(3)-等变图神经网络。该方法通过 Wigner D-矩阵将局部特征映射至共享帧,并利用 Clebsch-Gordan 张量积耦合相邻面方向以保留相对取向,确保输出对 SE(3) 变换不变。
推荐理由:提出 SO3brep 图神经网络,利用 Wigner D-矩阵与 Clebsch-Gordan 张量积在 B-rep 上实现 SE(3) 不变性,在少样本 CAD 分割任务中表现最优。
招商局先进技术研究院下属狮子山人工智能实验室发布了具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」。该模型采用 MoE 架构,总参数约 35B,仅激活约 3B 参数。
推荐理由:该模型通过能力牵引的数据引擎与闭环迭代机制,在不堆砌数据的情况下实现了十项主流基准指标提升。
论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。
推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。
论文提出 Route Anything 统一框架,通过构建涵盖语言、视觉、视频、语音及机器人操作的跨模态基准矩阵(含 37.4 万次运行数据),研究了在质量与成本权衡下的最优路由机制。实验显示,基于输入的 oracle 路由比最佳固定候选者提升 5.4 分,学习到的路由器进一步提升性能并减少 24% 的策略时间,平均效率提升 8.82 倍。
推荐理由:构建了跨模态任务路由框架,证明动态策略选择比固定候选者更优且能显著降低计算成本。
本文提出一种名为 Accessibility Field 的方法,利用流式稀疏 LiDAR 数据实时更新每一点的表面物理可达性标签。该方法通过 GPU 评估预计算的工具体积核与不同接近姿态下的碰撞情况,无需先验场景模型即可在工作站和 Jetson Orin 边缘设备上实时运行。
推荐理由:提出基于稀疏 LiDAR 的实时表面可达性场方法,在合成基准上 F1 达 90.8%,能区分可见但不可触及的表面。
针对机器人领域缺乏高精度参考轨迹且现有评估工具依赖未公开假设的问题,本文提出一种标准化的轨迹评估协议。该方法结合基于曲率信号的新型时间对齐技术与按行进距离归一化的误差指标,显式量化了时间同步、采样对齐及外参校准的影响,旨在提升状态估计与 SLAM 评估的严谨性与可复现性。
推荐理由:提出基于曲率信号的时间对齐与归一化误差指标,解决状态估计评估中假设不明导致的误导问题。
该研究引入行为测试电池,基于四项格式塔分组任务(标记颜色异类、颜色序列计数、轮廓识别、物体异类)对人类感知数据进行评分。作者对 45 个模型进行了评估,发现封闭基座模型在人类对齐度上显著低于其基准准确率所暗示的水平。该工作为可视化研究提供了无需新用户研究的复用标尺,用于审计进入流程的视觉模型是否按人类观众的方式组织视觉内容。
推荐理由:提出行为测试电池,用人类感知数据评估视觉模型在格式塔分组任务上的对齐度。
这篇综述通过结构化叙事综合和可复现的证据映射,定义了医疗世界模型的概念边界与技术基础。研究筛选了 1455 条记录并汇编了 300 个来源,其中 14 项符合严格的实证定义。文章区分了患者状态表征、时间动态建模等四大能力,指出当前证据多处于回顾性或临床前阶段,并提出了从轨迹预测到干预比较所需的精确干预表示与因果机制等具体证据要求。
推荐理由:该综述梳理了医疗领域世界模型的四大能力与临床转化证据要求,区分技术可行性与临床成熟度,为相关团队提供评估框架。
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
针对现有跟踪即传播(TBP)方法在检测与身份关联耦合下易漏检或关联失败的局限,本文提出 TAQ-MOTR 框架。该方法通过预解码器混合查询生成器融合图像特征、轨迹记忆与可学习记忆,使检测查询适应当前未跟踪目标的发现及被遮挡目标的补充证据需求;同时引入仅用于训练的辅助检测分支以增强监督。
推荐理由:提出跟踪感知检测查询生成框架,解决多目标跟踪中漏检与关联失败问题。
论文针对组合图像检索任务中多模态大模型成分化理解未被充分利用的问题,提出 Factorized MLLM Embeddings 方法。该方法通过中间目标想象目标模拟视觉修改意图,将组合查询理解与判别式嵌入构建解耦,并利用分解表示蒸馏至深层注意力层以传播特征。实验表明该方法在多个 CIR 基准上优于现有工作。
推荐理由:提出 Factorized MLLM Embeddings 方法,通过解耦组合查询理解与判别式嵌入构建,在 CIR 基准上优于现有工作。
该论文介绍 PROVE(Perturb-and-Repair Optimization for Vision-Language Evaluation),这是一种无需外部强监督或人工标注的自博弈框架。系统通过扰动、验证、修复和再验证的闭环,利用同一多模态骨干网络的参数更新来训练验证器,从而提升细粒度组合理解能力和视觉细节鲁棒性。
推荐理由:提出自博弈框架 PROVE,通过扰动 - 修复闭环训练视觉语言验证器,提升细粒度组合理解能力。
针对光伏组件地图需要完整实例恢复和精确描绘的挑战,本文提出了 Multi-View PV Module Mapper (MV-PVMapper),这是一个无需训练的框架,耦合了视觉基础模型与无人机摄影测量。
推荐理由:该工作提出无需训练的框架,利用多视角无人机影像实现光伏组件的高保真映射与实例恢复。
该研究针对重复机器人监测中环境变化导致视觉内容减少或结构重复的问题,提出一种结合稀疏可靠绝对姿态约束与会内相对姿态信息的配准方法。通过视觉地物识别、局部特征匹配及几何验证估计对齐假设,利用序列共识保留一致的姿态作为绝对锚点,再经高斯特征场优化与稳健位姿图优化完成完整轨迹注册。
推荐理由:论文提出稀疏锚点方法,在环境变化下实现跨会话轨迹注册,在 HILTI26 数据集上优于独立定位与 SfM 直接配准。
论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。
推荐理由:提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。
论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。
推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。
针对无人机与地面监控摄像头图像间存在严重视角差异、遮挡及域间隙的挑战,本文提出 ProAlign 网络以解决层级特征提取中的累积位置漂移和跨视图语义不一致问题。
推荐理由:提出 ProAlign 网络,通过分层位置校准与视图感知原型对比学习解决空天地 ReID 的位置漂移与语义不一致问题。