UniWAM:统一世界 - 动作模型
UniWAM 是一种统一架构,整合物理推理器、世界生成器和动作预测器,旨在联合学习物理世界的语义理解、视觉生成和动作预测。研究团队开发了严格的数据清洗与标注流程以处理人类第一视角数据和机器人数据,并在预训练中利用视觉问答等互补监督信号适配具身任务。
推荐理由:该工作提出统一架构融合物理推理与动作预测,并验证了人机混合数据预训练的缩放定律。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
UniWAM 是一种统一架构,整合物理推理器、世界生成器和动作预测器,旨在联合学习物理世界的语义理解、视觉生成和动作预测。研究团队开发了严格的数据清洗与标注流程以处理人类第一视角数据和机器人数据,并在预训练中利用视觉问答等互补监督信号适配具身任务。
推荐理由:该工作提出统一架构融合物理推理与动作预测,并验证了人机混合数据预训练的缩放定律。
论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。
推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。
arXiv 论文 PACT 提出一种端到端模型,联合从单目视频中估计人体姿态、环境接触点及接触力。该方法在人体重建基础模型上引入可学习的接触力 token 与时序 Transformer,利用物理监督增强运动与力的时空一致性。
推荐理由:提出端到端模型联合估计人体姿态、接触点与力,并引入物理监督与合成数据管线解决标注稀缺问题。
Magic-W0 是一种世界 - 动作基础模型,旨在弥补现有方法缺乏与控制紧密耦合的结构化世界表征的不足。该模型将交互定义为包含当前状态、过渡和未来状态的 Structured World Transition,其中当前状态结合视觉语言上下文与三维几何,过渡由捕捉动作诱导变化的三维运动表示,未来状态则由描述任务相关结果的未来语义表示。
推荐理由:该工作提出将结构化物理状态演化与连续动作联合建模的架构,在仿真基准上取得领先分数并验证了下游泛化能力。
该研究指出多模态大语言模型(MLLMs)在处理细粒度视觉计数时存在困难,主要源于 Vision Transformer 处理图像块时的独立性与注意力压缩导致的表示坍缩。
推荐理由:本文通过机制分析揭示了多模态大模型在计数任务中的个体化与聚合瓶颈,并提出轻量级架构 ConvStack 以解决这些问题。
论文提出 RoboActualizer 方法,旨在解决如何将预训练视频世界模型的多种潜在未来转化为特定任务条件下的确切执行策略。该方法将核心问题形式化为“实际化”,即在冻结的世界模型编码器之上,通过一个仅含约 60M 参数的轻量级实际化器模型(由两个 DiT 专家组成)来筛选并读出实现任务的行动序列。
推荐理由:提出在冻结预训练世界模型上仅用轻量级实际化器将潜在未来转化为机器人动作,大幅降低参数与算力需求。
该论文提出通用操作表示(UMR),将操作分解为与本体无关的世界流和本体轨迹两个几何关联组件,并实例化为 World--Ego Point VLA 模型。研究通过数据高效策略提升效率,在仿真基准上平均成功率达 97.5%,真实世界实验中利用约 10 分钟的人类演示即可实现跨机器人零样本迁移,平均成功率为 91.7%。
推荐理由:提出统一动作表示 UMR,实现从人类演示到异构机器人的零样本技能迁移。
论文提出一种利用大语言模型(LLM)构建包含物理关系、兼容性约束和目标的显式工程模型框架,允许在正式多目标优化前审查并修订建模选择。作者在四旋翼无人机和循迹机器人的组件选型问题上进行了评估,结果显示 30 次直接 LLM 设计尝试均无法通过最终模型验证为可行,且建模假设的变更显著改变了预测的可行与帕累托最优设计方案集合。
推荐理由:该框架利用大语言模型构建显式工程模型,使设计假设可被审查与修订,再结合形式化优化确保可行性与帕累托最优。
针对细粒度物体操作中场景级视觉条件缺乏明确选择、类别级指导难以区分相似物体的挑战,本文提出一种结合持久物体记忆与聚焦视觉条件的框架。首先引入 FO Memory-driven SAM3(FOM-SAM3),在有限多视角配准图像中学习可复用的细粒度物体记忆 token 并冻结 SAM3;其次提出聚焦空间 - 外观编码(FSAE),融合物体内部外观特征与显式边界框以条件化动作策略。
推荐理由:提出 SAM3 引导的视觉运动策略框架,利用持久记忆与聚焦视觉条件解决细粒度物体操作难题。
针对现有视频大模型评测依赖问答或简单匹配导致模型利用表面线索的问题,作者提出了 VidOmni-Bench 基准。该基准包含 500 个时长从 4 秒到 90 分钟、涵盖五种复杂度的视频,要求模型验证密集视频描述中每个事件是否得到视频支持。实验发现视频大模型在密集描述生成时频繁出现幻觉,且作为验证器难以可靠检测看似合理但错误的事件描述,其弱点随视频复杂度与时长变化而不同。
推荐理由:该基准通过时空事件验证评估视频大模型的细粒度理解能力,揭示了幻觉与验证失效等瓶颈。
DEXTERA 是一个自动化的真实到仿真再到真实框架,能将单张 RGB 图像转化为跨多种策略架构的可部署灵巧操作策略。该框架包含场景因子化、度量对齐与形态平衡校准、可扩展任务构建及共享多模态接口四个阶段。实验显示其在视觉保真度与几何重建上优于生成式基线,仿真训练的策略可在真实机器人上零样本部署,且联合训练将平均物理策略成功率从 29.2% 提升至 61.9%。
推荐理由:DEXTERA 框架实现从单图到可部署策略的自动化闭环,仿真训练策略在真实机器人上零样本部署有效,且联合训练将成功率提升至 61.9%。
针对现有视觉语言导航智能体难以连接语义推理与空间执行的难题,本文提出 GroundingVLN 框架,利用视觉锚点作为推理与行动的共享接口。该方法首先通过锚定任务相关视觉证据进行结构化推理,随后预测进度对齐的像素目标以指导底层运动规划。
推荐理由:提出 GroundingVLN 框架,通过视觉锚点连接语义推理与空间执行,在 R2R-CE 和 RxR-CE 基准上实现 SOTA 性能且仅需 0.9% 训练数据。
论文提出一种基于代理模型的 CFD 方法,将水下航行器阻力估算速度提升 70 万倍,用于训练强化学习控制器。在真实海洋的 15 次独立测试中,该方法相比惯性盒模型使平均跟踪误差降低 19%、控制努力减少 31%,且对质量扰动具有鲁棒性。材料为预印本论文,未提及同行评审状态或开源代码仓库。
推荐理由:该研究提出用代理模型加速 CFD 数据以训练水下机器人控制器,在真实海洋测试中显著优于惯性盒模型。
论文提出了 REBASE 框架,旨在解决现有免训练上下文感知分割方法受限于跨图像相似度图质量的问题。该方法通过显式抑制参考图中的低秩背景特征子空间,将参考与查询特征投影到其正交补空间以获取更纯净的语义匹配,并结合基于相似度的远点采样生成正向点提示。
推荐理由:提出 REBASE 框架,通过显式消除参考图中的背景特征子空间来抑制虚假对应关系,在无需训练的情况下实现单样本分割新 SOTA。
针对二维材料薄片高精度像素级定位需求,传统全监督方法依赖密集标注且成本高昂。本文提出 TACoS 框架,整合半监督一致性学习与结构化树能量约束,通过无标签弱强分布对齐及最小生成树建立像素亲和关系。
推荐理由:提出 TACoS 框架,利用少量涂鸦标注实现二维材料分割,在低对比度场景下保持结构连贯性。
论文指出冻结的视觉语言动作(VLA)模型泛化能力脆弱且缺乏长期后果意识。作者提出 SVA 框架,利用仿真中的蒙特卡洛树搜索采样探索输出分布,并将经验回报蒸馏到轻量级 Q 值模型中。
推荐理由:提出 SVA 框架,将蒙特卡洛树搜索蒸馏为轻量级动作评估器,使冻结 VLA 在保持泛化能力的同时提升任务成功率。
针对现有视觉语言模型(VLM)仅在通用场景下以零样本方式评估、难以应对专业领域罕见概念的问题,作者提出了 AnyGroundBench 基准。该基准涵盖动物、工业、体育、手术和公共安全五个专业领域,将专家标注的新视频与既有数据集统一,并提供了专用的有限训练子集。
推荐理由:该基准通过五个专业领域的数据与有限训练子集,系统评估了 VLM 在时空视频定位中的零样本泛化及域适应能力。
针对现有视觉语言动作(VLA)模型无法处理任务执行期间物体移动导致的延迟问题,本文提出 AHEAD 框架。该方法通过冻结 VLA 并引入基于光流的小规模运动感知潜在世界模型进行预测,利用语言与运动显著性掩码聚焦关键区域,并在不确定性达到阈值时自适应停止预测。
推荐理由:提出 AHEAD 框架,通过冻结 VLA 并引入运动感知潜在世界模型解决动态操作延迟问题,在仿真与真实机械臂上显著优于基线。
针对多模态大语言模型微调中数据冗余问题,提出 OnceSelect 一次性训练的数据选择器。该方法在冻结的多模态空间编码图像 - 指令对并聚类,利用固定验证集标准训练轻量级选择器,可跨数据集与模型架构直接复用而无需重训或依赖特定模型评分。
推荐理由:提出一次性训练的通用数据选择器,在无需重训情况下跨数据集与模型架构复用,显著降低多模态指令微调成本。
论文提出 FLASH Policy,利用连续勒让德多项式替代离散动作块生成,并通过历史系数初始化流匹配过程以加速推理。该方法无需数值近似即可直接提供速度前馈信号。实验显示其在五个仿真和两个真实操作任务中成功率均不低于 92%,单集推理时间为 31.40ms,训练收敛速度快于 ACT 且控制器跟踪误差显著降低。材料为 NeurIPS 2026 接收的预印本,代码与论文链接已提供。
推荐理由:FLASH 通过稀疏采样与连续多项式轨迹表示,将推理耗时降至 31.40ms,在五个仿真和两个真实任务中成功率均超 92%。