MANGO-Grasp:面向跨具身灵巧抓取的马氏场几何高斯方法
针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。
推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。
推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。
论文提出 SAGE 框架,旨在解决几何基础模型因缺乏大规模 3D 标注而进展受限的问题。该方法利用互联网视频流作为可扩展的适配来源,通过分层挖掘管道将视频转化为训练轨迹,并结合稀疏几何锚定与稠密可微一致性进行混合监督。
推荐理由:提出利用互联网视频通过弱监督信号对几何基础模型进行可扩展适配的方法,在多个基准上显著降低 Chamfer Distance。
该研究质疑预训练视觉模型中“线性表征假设”的有效性,指出仅凭线性探针的高准确率无法区分真正的线性世界模型与核机器(curved manifold)。作者提出反向预测性、谱浓度和分布外泛化三种不对称诊断方法,在 SVG-World 等基准上验证了预训练产生的结构介于随机核与线性世界模型之间。
推荐理由:文章指出线性探针高准确率不代表存在线性世界模型,提出反向预测性等三种诊断方法区分几何结构。
FlexPart 是一个统一的文本控制 3D 网格分割框架,旨在解决多粒度训练数据缺失和整体控制机制缺位的问题。该方法引入包含位置与形状从句的语义提示词,利用自动化 VLM 流水线构建大规模多粒度分区数据集,并在原生 3D 空间生成视图无关的部件身份场。
推荐理由:该工作提出统一框架,利用自动化 VLM 流水线构建多粒度数据集,实现文本控制的语义感知 3D 分割。
论文提出 Hindsight Inverse JEPA Planning (HIJP) 框架,旨在解决基于世界模型的视觉规划需进行昂贵在线搜索的问题。该方法通过引入目标条件逆模型直接预测动作,并在训练阶段利用回顾性重标记策略塑造视觉表征与动作转换的一致性。
推荐理由:提出 HIJP 框架,通过隐式逆动力学替代在线搜索实现无搜索规划,在四项视觉控制任务中成功率达 86.8% 且速度提升显著。
当前视频世界模型的内存测试常将场景设置、动作执行与结果展示混为一谈,导致低分被误读为遗忘。本文提出 MIST 评测,分离变化指令与应留下的记忆痕迹,定位到模型能设景却无法执行指令的瓶颈。
推荐理由:提出 MIST 评测与 M3-Agent 方法,从执行侧诊断视频世界模型的记忆失效瓶颈并提升基准。
该研究针对现有方法在多任务联合训练中易受数据混合影响且存在跨任务干扰的问题,提出 ReVision 框架。该方法基于冻结的多模态理解模型和冻结的图像生成器,利用指令条件参数生成机制,将图像与自由形式指令编码为多模态表示,并映射为生成器的瞬态低秩更新。
推荐理由:提出基于冻结生成器的指令条件参数生成框架,通过实例级低秩更新解决多任务感知中的梯度冲突与干扰问题。
针对动态环境下单目同时定位与建图(SLAM)的挑战,本文提出 FLoTS-SLAM 系统。该方法通过计算光流与相机运动诱导的光流之间的残差来直接估计动态区域的不确定性,结合帧对齐精度减少误检。
推荐理由:提出基于光流残差直接估计动态区域的方法,在 DAVIS 数据集上动态掩码 IoU 提升 35%,显著降低姿态与深度重建误差。
该论文提出 Momentum 方法,通过参考相机阵列构建同步视频作为场景动态共享记忆,利用图结构在相邻设备间传播生成以协调时空一致性。WorldUpdate 阶段生成全局动态记忆,WorldInteract 阶段将目标相机控制锚定于此记忆,确保移出视野的动态内容(如车辆、行人)能保持状态并在重入时一致呈现。
推荐理由:原文提出了利用多机位视频记忆与图传播机制解决动态场景一致性的方法,并提供了 CARLA 数据捕获流程与评估框架。
本文提出一种无需额外训练的框架,将冻结的姿态估计器 VGGT 与重建骨干网络 TokenGS 结合,解决坐标系不一致与平移尺度失配问题。在包含 107 个场景的测试中,该方法在全视角及仅四张稀疏视图条件下均能达到接近 COLMAP 参考的质量(22.47 PSNR),实现了完全无需 COLMAP 的姿态自由重建流程。
推荐理由:该工作通过坐标系对齐与尺度修正,证明冻结的 VGGT 与 TokenGS 组合在稀疏视图下即可达到全视角质量,无需额外训练。
针对固定翼飞机进近着陆阶段对可靠定位及完整性(trustworthy outputs)的需求,本文提出 PASS 系统。该系统在统一时空框架下集成可配置机场环境、规定轨迹、惯性模拟、标定立体图像及连续跑道相对真值,支持可控传感器误差与环境变化以生成用于算法开发的测试数据。
推荐理由:该工作提出可控的进近仿真系统 PASS,支持 CAT III 完整性算法开发,并引入 SRST 指标量化仿真与现实的差距。
STRIDE 是一个面向自动驾驶长尾安全场景的物体中心基准,涵盖空间感知、时间记忆与轨迹预测等六类任务。该基准在十二个模型上测试发现,即使表现最好的 GPT-6-Astra 在多选题准确率也仅为 43.4%,且描述场景的能力无法转化为准确的安全判断,模型更难以重构物体运动而非回忆过去位置。
推荐理由:该基准通过多任务评估揭示现有模型在时空推理上的短板,指出描述能力与安全判断能力的脱节。
论文提出直接条件参数化(direct conditional parameterization)方法,将 N 维 Splatting 的协方差推导替换为显式参数,在五个基准测试中质量持平或更优且推理速度提升。
推荐理由:提出直接条件参数化方法,将 N 维 Splatting 的协方差推导替换为显式参数,在五个基准测试中质量持平或更优且推理速度提升。
论文介绍 HilbertGen-3D,这是一种基于希尔伯特 - 多重分形条件化(HMC)的拓扑感知条件扩散框架。该方法计算多尺度体素度量,通过三维希尔伯特曲线序列化以暴露结构化空间依赖关系,并估计广义分形维度,将其编码为全局嵌入和多尺度令牌注入去噪器。
推荐理由:提出基于希尔伯特 - 多重分形条件的拓扑感知扩散框架,在 ShapeNet 数据集上显著提升了生成质量与多样性。
该论文提出 EgoP$^{2}$C 框架,旨在解决现有视觉语言模型在处理第一人称视频复杂空间推理任务时证据获取与多步组合困难的问题。研究通过训练专用的规划与感知教师模型,并在混合专家学生模型中进行监督微调,实现了无需外部工具的内化自适应工作流。
推荐理由:该工作提出将规划、感知与合成流程内化于单一 VLM 的框架,在三个基准测试中显著优于基线模型并降低推理算力。
FOR-species20K 是最大规模的公开 LiDAR 树种分类基准,包含 33 个物种及 25 个独立采集的地面、移动和机载激光扫描数据集。作者提出多分辨率多视角 ConvNeXtV2 模型,在官方隐藏测试集上将准确率从 79.5% 提升至 85.0%,但在跨源物种单元留一验证中,未加权平均准确率从 82% 骤降至 36%,树权重准确率从 95% 降至 60%。
推荐理由:该研究揭示了跨源 LiDAR 树种识别中 leaderboard 分数与真实泛化能力的差距,为构建更稳健的评估指标提供了实证依据。
论文介绍 SABER 基准以评估视觉语言模型在四种模态配对下的属性 - 对象绑定能力,发现现有 CLIP 和 MLLM 嵌入器存在显著绑定失败。作者提出仅用合成文本进行属性绑定监督的微调方法,无需图像监督即可将性能迁移至跨模态和图像检索任务,并在 SABER、否定及实例检索基准上取得 SOTA 结果。
推荐理由:提出 SABER 基准揭示属性 - 对象绑定缺陷,仅用合成文本监督微调 MLLM 嵌入器即可在跨模态检索中实现 SOTA。
该论文提出了一种利用显微光学读取自然地面纹理以实现高精度全局定位的方法,将定位精度提升至数十微米量级。研究通过校准的移动龙门架系统验证了该方法在不同表面纹理上的表现,在 1007 个测试查询中实现了 28-73 微米的平移均方根误差(RMSE),且独立光度配准与特征定位估计的误差约为 9 微米。
推荐理由:原文展示了利用显微光学实现微米级移动机器人定位的方法,并验证了其在热膨胀等场景下的鲁棒性。
VAST 正式发布并开源实时世界模型 EdenLive,首次实现在实时生成前提下同时完成任意参考输入、任意画风生成和长时连续运行。在单张 Nvidia RTX 5090 消费级显卡上,720P 条件下 5B 模型生成速度超过 24FPS,端到端延迟为百毫秒级,支持分钟级画面持续生成。
推荐理由:VAST 正式发布并开源实时世界模型 EdenLive,支持在消费级显卡上实现分钟级连续生成与交互渲染。
论文介绍 Data World 多智能体引擎,该引擎在生成文件前显式指定其背后的世界机制,以解决数据代理训练中环境成本高、隐私限制及结果难验证的问题。研究通过人类偏好筛选出涵盖 16 个领域的 50 个保留世界的 100 个任务构建基准,并生成了来自 1,037 个独立世界的 2,135 个训练任务。
推荐理由:提出 Data World 引擎,通过合成环境与任务解决数据代理训练的隐私与验证难题。