MANGO-Grasp:面向跨具身灵巧抓取的马氏场几何高斯方法
针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。
推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。
推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。
论文提出 Novel Visual References Dataset (NVRD),包含 19,176 张图像,涵盖 90 个不同新颖度级别的视觉概念及扰动版本。研究对比了 3 款开源、2 款闭源模型与 2,400 名人类判断者,发现模型在违背预训练知识时难以通过上下文学习新概念,且存在显著过泛化现象,会将标签扩展至人类拒绝的样本。该数据集作为基准供人机视觉概念学习研究使用。
推荐理由:作者发布全新数据集 NVRD,用于评估模型在违背预训练知识时的新概念学习及泛化能力。
针对长视频理解中帧选择效率低且难以平衡信息量的问题,本文提出 LDDR(Linear-DPP Dynamic-Resolution)框架。该方法无需训练,通过任务感知的行列式点过程(DPP)在特征空间进行查询感知帧选择,并引入组 DPP 重要性评分以指导非均匀 token 预算分配:为关键帧保留更多 token 同时降采样冗余帧。
推荐理由:提出无需训练的 LDDR 框架,通过任务感知的 DPP 采样与动态分辨率分配,在视频 MLLM 低预算设置下提升 2.5 个点。
论文提出 SAGE 框架,旨在解决几何基础模型因缺乏大规模 3D 标注而进展受限的问题。该方法利用互联网视频流作为可扩展的适配来源,通过分层挖掘管道将视频转化为训练轨迹,并结合稀疏几何锚定与稠密可微一致性进行混合监督。
推荐理由:提出利用互联网视频通过弱监督信号对几何基础模型进行可扩展适配的方法,在多个基准上显著降低 Chamfer Distance。
针对现有视频编辑方法计算开销大且易出现时序不一致的问题,本文提出了 Edit-Your-Interest 这一轻量级、文本驱动且无需微调的视频编辑方法。该方法引入时空特征记忆库(SFM)缓存空间注意力特征,并提出基于相似度检索的特征最相似传播(FMP)规则以维持候选池代表性,从而在固定内存预算下减少全序列建模的计算负担并改善模糊与马赛克伪影。
推荐理由:提出轻量级零样本视频编辑方法,通过特征记忆库与相似度传播机制提升时序一致性并降低计算开销。
该研究质疑预训练视觉模型中“线性表征假设”的有效性,指出仅凭线性探针的高准确率无法区分真正的线性世界模型与核机器(curved manifold)。作者提出反向预测性、谱浓度和分布外泛化三种不对称诊断方法,在 SVG-World 等基准上验证了预训练产生的结构介于随机核与线性世界模型之间。
推荐理由:文章指出线性探针高准确率不代表存在线性世界模型,提出反向预测性等三种诊断方法区分几何结构。
FlexPart 是一个统一的文本控制 3D 网格分割框架,旨在解决多粒度训练数据缺失和整体控制机制缺位的问题。该方法引入包含位置与形状从句的语义提示词,利用自动化 VLM 流水线构建大规模多粒度分区数据集,并在原生 3D 空间生成视图无关的部件身份场。
推荐理由:该工作提出统一框架,利用自动化 VLM 流水线构建多粒度数据集,实现文本控制的语义感知 3D 分割。
论文介绍 CoreDNA,这是一种无需代理模型训练或大量标注的无监督核心集估计方法。该方法通过池化视觉基础模型的神经元激活值,将每张图片的分布与数据集整体分布进行比较,从而同时捕捉低层视觉结构和高层语义信息。
推荐理由:提出 CoreDNA 无监督任务无关核心集选择方法,在感知与动作多任务上匹配或超越现有水平。
该研究指出视觉语言模型评估中常将‘提及’等同于‘声称存在’,导致对非断言性描述(如‘供人坐的长椅’)产生误判。作者提出 NAME-Bench 基准,包含五款 VLM 生成的两万五千余条标注数据,区分了具体、幻觉与非断言提及四类标签。实验显示现有检测器将 14% 至 80% 的非断言提及错误标记为幻觉,且在较新模型上通过负样本训练进行修正的难度显著增加。
推荐理由:NAME-Bench 基准揭示当前幻觉检测器将非断言性提及误判为幻觉,且在新模型上修正代价高昂。
该研究针对现有方法在多任务联合训练中易受数据混合影响且存在跨任务干扰的问题,提出 ReVision 框架。该方法基于冻结的多模态理解模型和冻结的图像生成器,利用指令条件参数生成机制,将图像与自由形式指令编码为多模态表示,并映射为生成器的瞬态低秩更新。
推荐理由:提出基于冻结生成器的指令条件参数生成框架,通过实例级低秩更新解决多任务感知中的梯度冲突与干扰问题。
针对动态环境下单目同时定位与建图(SLAM)的挑战,本文提出 FLoTS-SLAM 系统。该方法通过计算光流与相机运动诱导的光流之间的残差来直接估计动态区域的不确定性,结合帧对齐精度减少误检。
推荐理由:提出基于光流残差直接估计动态区域的方法,在 DAVIS 数据集上动态掩码 IoU 提升 35%,显著降低姿态与深度重建误差。
针对开源图文生成模型在处理密集文本和复杂版式上的不足,该研究提出了 MOSS-Image 系统。该系统通过从头预训练的 5B 参数单流扩散 Transformer(DiT)实现了双语长文本渲染与精确的版式控制,并开发了意图感知代理提示增强模块以将用户请求转化为详细的内容与布局规范。
推荐理由:开源图文生成系统 MOSS-Image 在长文本渲染与复杂布局控制上达到开源模型最优,并同步开放训练配方与评测基准。
该材料介绍了 Xiaomi-Lens-0,这是一个基于 Qwen3.5 构建的 4B 参数多模态大语言模型(MLLM)。针对现有文本监督无法指定支持答案区域的痛点,该模型通过轻量级解码器结合视觉编码器补丁特征与视觉潜变量,直接从自身视觉表示中预测掩码。
推荐理由:该报告介绍了一个基于 Qwen3.5 的 4B 参数多模态大语言模型,通过轻量级解码器实现掩码预测,在指代理解与分割任务上优于基线。
论文针对现实请求中实体信息稀缺且搜索结果混乱的‘野外’场景,构建了 Savanna 基准测试集。作者提出 Locate-Corroborate-Isolate 范式,即通过文本搜索锁定目标身份、多源交叉验证候选图片并裁剪干净参考图。
推荐理由:作者构建了野外图像生成基准并提出了 Locate-Corroborate-Isolate 范式,开源了模型与训练数据。
本文提出一种无需额外训练的框架,将冻结的姿态估计器 VGGT 与重建骨干网络 TokenGS 结合,解决坐标系不一致与平移尺度失配问题。在包含 107 个场景的测试中,该方法在全视角及仅四张稀疏视图条件下均能达到接近 COLMAP 参考的质量(22.47 PSNR),实现了完全无需 COLMAP 的姿态自由重建流程。
推荐理由:该工作通过坐标系对齐与尺度修正,证明冻结的 VGGT 与 TokenGS 组合在稀疏视图下即可达到全视角质量,无需额外训练。
论文提出 Sink-Sparse Hybrid Attention,这是一种无需训练的注意力替换方法,通过复用静态 sink masks 并补充轻量级 pooled-KV 分支来加速扩散 Transformer 的推理。
推荐理由:该方法提供无需微调的推理加速方案,在保持生成质量的同时实现约1.5倍端到端速度提升。
STRIDE 是一个面向自动驾驶长尾安全场景的物体中心基准,涵盖空间感知、时间记忆与轨迹预测等六类任务。该基准在十二个模型上测试发现,即使表现最好的 GPT-6-Astra 在多选题准确率也仅为 43.4%,且描述场景的能力无法转化为准确的安全判断,模型更难以重构物体运动而非回忆过去位置。
推荐理由:该基准通过多任务评估揭示现有模型在时空推理上的短板,指出描述能力与安全判断能力的脱节。
论文提出直接条件参数化(direct conditional parameterization)方法,将 N 维 Splatting 的协方差推导替换为显式参数,在五个基准测试中质量持平或更优且推理速度提升。
推荐理由:提出直接条件参数化方法,将 N 维 Splatting 的协方差推导替换为显式参数,在五个基准测试中质量持平或更优且推理速度提升。
论文介绍 OmniXRef 统一框架,允许用户组合可变数量的文本、图像和视频参考来控制源视频的多样化属性。研究设计了统一的输入设计与 R^2-RoPE 以支持更多参考的泛化,构建 OmniXRef-Data 合成数据并采用课程学习提升复杂度与分辨率。
推荐理由:提出 OmniXRef 框架,支持文本、图像及视频多模态参考的统一编辑,并构建了对应基准与合成数据。
论文介绍 HilbertGen-3D,这是一种基于希尔伯特 - 多重分形条件化(HMC)的拓扑感知条件扩散框架。该方法计算多尺度体素度量,通过三维希尔伯特曲线序列化以暴露结构化空间依赖关系,并估计广义分形维度,将其编码为全局嵌入和多尺度令牌注入去噪器。
推荐理由:提出基于希尔伯特 - 多重分形条件的拓扑感知扩散框架,在 ShapeNet 数据集上显著提升了生成质量与多样性。