MM-ABC:面向通用移动操作的看见、协调与想象基础模型
论文提出了 MM-ABC 基础模型,旨在解决移动操作中空间感知与异质臂基协同控制的挑战。该模型结合稀疏多级别视觉语言模型特征进行空间感知;引入仅用于训练的“未来分支”,利用世界想象和几何意图作为额外监督信号以增强感知与操作意图预测;并通过掩码联合注意力及清洁动作 X 预测来协调独立的操作与移动流。
推荐理由:该工作提出 MM-ABC 基础模型,通过视觉、协调与想象机制统一处理移动操作中的感知与控制挑战。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文提出了 MM-ABC 基础模型,旨在解决移动操作中空间感知与异质臂基协同控制的挑战。该模型结合稀疏多级别视觉语言模型特征进行空间感知;引入仅用于训练的“未来分支”,利用世界想象和几何意图作为额外监督信号以增强感知与操作意图预测;并通过掩码联合注意力及清洁动作 X 预测来协调独立的操作与移动流。
推荐理由:该工作提出 MM-ABC 基础模型,通过视觉、协调与想象机制统一处理移动操作中的感知与控制挑战。
针对现有多步智能体训练忽略任务间重复子程序的问题,该工作提出从数据本身恢复层级结构并构建可复用经验树(X-Tree)。该方法将常用且成功的技能组合为子技能节点,无需调用大语言模型即可指导高效泛化。研究将其集成至离线强化学习、在线强化学习验证及策略自蒸馏三种训练设置中,在 WebArena、ScienceWorld 和 WebShop 三个基准上实现了显著的性能提升。
推荐理由:该工作从数据中恢复任务层级结构并构建可复用经验树,在 WebArena 等基准上显著提升了多步智能体的成功率。
该论文介绍 ALeWorldModel (ALeWM),这是一种基于联合嵌入预测架构 (JEPA) 的世界模型,旨在将预测信息集中到宽隐表示的紧凑前缀中。作者提出了 MixSIGReg 正则化方法,通过掩码嵌入与高斯活跃前缀及零坐标的混合分布进行约束,促使早期坐标块保留对预测和递归规划有用的信息。
推荐理由:该工作提出自适应隐式容量架构,通过混合正则化将预测关键信息压缩至早期坐标块,在目标条件视觉控制任务中实现优于固定宽度基线的成功率。
针对部分可观测环境下的多智能体路径规划问题,DMM 方法通过离散化、迭代式的意图去噪机制替代单次采样,有效解决了独立采样导致的联合动作不兼容问题。该方法在 MovingAI 数据集的 1,600 个任务中实现了 1,598 的成功率,覆盖率达到评估方法中最高的水平,同时保持了接近最强基线的解成本,并支持百万级智能体规模的扩展。
推荐理由:DMM 通过迭代意图去噪解决多智能体联合动作采样冲突,在 MovingAI 基准上实现最高覆盖率且成本接近最优基线。
该论文提出 Mara Chain,一种将优化过程中被丢弃的候选方案转化为后续迭代基石的新方法。现有 propose-evaluate-select 流程常因直接丢弃不合格候选而导致重复探索相同失效模式;Mara Chain 则保留并利用先前尝试积累的证据对拒绝项进行迭代精炼,同时限制链长并应用 Pareto-filtered Top-N 选择以控制候选池规模。
推荐理由:该工作提出 Mara Chain,将优化中被丢弃的候选方案转化为后续迭代的基石,在 AppWorld、TerminalBench 2.1 和 MuSiQue 等基准上显著提升了任务性能并减少了采样次数。
该研究通过 160,000 个策略在 114 个数据集上的大规模实验发现,离线强化学习与模仿学习中不存在单一主导算法,且超参数调优与基准组合显著影响结论。作者开发了数据集条件推荐器以提供任务特定建议,并开源了包含所有训练策略、评分、超参数及代码的 JumpStart 资源库,旨在提升研究可靠性。
推荐理由:大规模离线策略学习研究显示无单一最优算法,提供数据集条件推荐器与完整资源库。
论文介绍 NowWAM,一种不依赖未来视觉预测的机器人控制共训练框架,通过去噪当前观测直接耦合生成目标与动作表示。在 LIBERO-Plus 基准上,配合 FLUX2-Klein 模型达到 87.7% 成功率,相比基线提升 6.1 个百分点,同时将训练视觉 token 减半并加速推理。
推荐理由:提出无需未来预测的 NowWAM 方法,在 LIBERO-Plus 基准上提升性能并降低计算开销。
论文提出 Gated Token Recurrence (GTR),这是一种无需全局 Softmax 注意力的循环视觉骨干网络,结合了门控线性注意力、交替空间扫描方向和增强 SwiGLU 块。
推荐理由:提出无 softmax 的循环骨干网 GTR,通过蒸馏 DINOv3 实现高效稠密预测与多任务迁移。
地平线联合无问智科发布机器人指令理解与操作评测基准InstructMove,旨在解决机器人仅凭视觉捷径完成任务而忽视语言指令的问题。该基准基于Text-Indispensable原则,在场景中设置多个可操作候选目标,强制模型依赖语言消歧。
推荐理由:地平线发布InstructMove基准,通过多候选目标场景验证语言对动作选择的必要性,并证明仿真数据能提升真机指令跟随能力。
OpenCV Live 播客介绍由 Intrinsic 和夏威夷大学作者提出的 3D-Object Perception Transformer(3PT),该架构将检测、分割和 6DoF 位姿估计统一为两个仅用 RGB 的多视图 Transformer。
推荐理由:OpenCV Live 播客介绍 3PT 架构及其在 BOP 2025 竞赛中的表现,并分享从基准测试到工业部署的工程经验。
针对大语言模型在长程交互中因上下文过长导致性能下降的问题,文章提出 ABBEL 框架,将递归摘要任务转化为对自然语言“信念状态”的监督更新。通过引入基于重构的“信念分级”机制,该框架在 CollabBench 协作编程和 Combination Lock 游戏中显著缩小了与全量上下文模型的差距,同时大幅降低峰值 Token 消耗并减少训练步数。
推荐理由:提出 ABBEL 框架,通过监督自然语言信念状态更新解决长程交互中的上下文压缩性能损耗问题。
这篇综述将现有世界动作模型(WAM)分为级联和联合两种架构,分析了其如何利用无标签视频预测环境变化以辅助控制生成。文章指出当前训练数据受限于遥操作成本或仿真到现实的差距,且缺乏评估生成视频物理因果一致性的指标,导致视觉逼真但无法执行的问题。此外,文中讨论了 Meta 的抽象表示方法作为降低计算成本的潜力方向,并列举了相关论文清单供查阅。
推荐理由:该综述梳理了世界动作模型的架构分支与数据瓶颈,并指出当前缺乏因果一致性评估指标。
DeepMind 发布新研究,指出当前视觉模型在组织视觉信息时与人类存在系统性偏差,导致其在“找不同”等认知任务中表现不佳。团队提出一种三步对齐方法:先利用少量人类判断数据微调小型适配器构建教师模型,再基于该教师生成百万级合成数据集,最后用此数据对预训练模型进行全量微调以重构内部表征。
推荐理由:DeepMind 发布新论文,提出三步法将视觉模型内部表征与人类概念层级对齐,显著提升认知任务表现及鲁棒性。
Berkeley BAIR 团队发布了 Transitive RL (TRL) 算法,旨在解决传统时序差分(TD)学习难以扩展至长周期任务的瓶颈。该算法采用“分治”范式,将轨迹递归分割以更新价值函数,从而将对数级减少贝尔曼递归次数并避免误差累积。
推荐理由:作者提出 Transitive RL 算法,利用分治策略解决离线强化学习在长序列任务中的误差累积难题。