Where-OPD:基于合成场景的空间引导多模态大模型自蒸馏方法
论文介绍了一种针对多模态大语言模型的自蒸馏新方法 Where-OPD,利用程序化生成的合成场景提供自动获取的物体身份与空间坐标作为教师的文本空间引导。该方法使教师能定位并整合多个相关图像区域的证据,学生则仅凭图像和问题学习复现该行为。
推荐理由:提出利用程序化生成场景的文本空间引导进行自蒸馏,在纯合成数据上实现了对真实世界感知基准的有效迁移。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
2,065 条精选近 30 天 1,226 条共收录 11,236 条
论文介绍了一种针对多模态大语言模型的自蒸馏新方法 Where-OPD,利用程序化生成的合成场景提供自动获取的物体身份与空间坐标作为教师的文本空间引导。该方法使教师能定位并整合多个相关图像区域的证据,学生则仅凭图像和问题学习复现该行为。
推荐理由:提出利用程序化生成场景的文本空间引导进行自蒸馏,在纯合成数据上实现了对真实世界感知基准的有效迁移。
针对大模型智能体在复杂长程任务中难以自我验证的问题,该研究提出 VeriHarness 框架,通过赋予底层生成模型工作区、证据工具和可复用验证技能,使其转变为智能体验证器。
推荐理由:该工作提出利用大模型自身进行长程任务验证的新方法,并开源了约 2.6 万次 rollouts 数据以支持后续研究。
该论文提出 LOCI 架构,通过结合关键值缓存与受相机几何条件约束的循环线性注意力记忆,解决视频世界模型在长序列中保留细节与降低显存的需求。实验显示其在重访内容还原上优于主流基线,且在固定预算下能流式处理长视频。
推荐理由:提出混合空间记忆架构,在保持视觉细节的同时降低显存占用并提升重访内容还原度。
针对复杂环境中 VLA 模型需平衡任务成功与意外接触的挑战,本文提出 FailBank 四阶段框架,将运行时反馈转化为持久的策略改进。该框架在 VLA-Arena 基准上评估显示,相比基线策略和纯运行时屏蔽方法,FailBank 能显著提升任务成功率并降低由策略引起的累积成本,证明运行时反馈可作为持续监督而非临时约束。
推荐理由:FailBank 框架利用运行时反馈实现 VLA 策略自我进化,在基准测试中显著提升了任务成功率并降低了累积成本。
针对测试阶段环境动力学与训练分布不一致导致预测不可靠的问题,本文提出了 JEPA-TTT 方法。该方法在预训练的联合嵌入预测架构(Joint-Embedding Predictive Architecture)世界模型基础上,仅对动作条件化的潜在动力学预测器进行自监督更新,而保持视觉编码器和奖励头固定以保留预训练表征与任务目标。
推荐理由:该工作提出在测试阶段持续训练潜在动力学预测器,使预训练世界模型能自适应动态变化。
针对机器人操作中隐藏任务状态难以仅凭当前观察确定的问题,该研究引入 HIDE 基准,包含重复计数、历史状态召回和执行进度追踪等 15 个任务。作者提出 SEEK 框架,结合三种互补的记忆机制以保留历史证据并跟踪执行状态。评估显示现有策略在 HIDE 上存在显著局限,而记忆增强能提升仿真与真实实验中的成功率;单一机制虽有益处但可能损害其他任务,组合方案表现最佳。
推荐理由:该工作提出 HIDE 基准与 SEEK 框架,揭示部分可观测环境下机器人策略对历史状态记忆的依赖及现有方法的局限。
该论文指出用扩散模型生成的合成图像对 DreamBooth 进行微调会因分类器自由引导(CFG)导致高频细节过度饱和并降低主体保真度。作者提出 ReGain,一种无需真实照片的采样时修正方法,通过测量各频率带相对于基模型的引导膨胀程度并进行缩放来恢复保真度。
推荐理由:针对合成图像微调导致主体保真度下降的问题,提出无需真实照片的采样时修正方法 ReGain。
该论文提出了 Honeycomb 方法,构建在作者提出的 HexMemory 低秩表示之上,旨在解决视频世界模型在长视界生成过程中显存需求持续增长的问题。
推荐理由:提出 HexMemory 架构,以固定尺寸存储场景特征并支持动态扩展,解决了视频生成中显存随时间增长的问题。
该论文提出 WEFT(Whole-system Evolution For Tool-use Post-training)框架,旨在解决仅扩展执行环境无法保证模型性能提升的问题。
推荐理由:提出 WEFT 框架,通过全系统协同进化解决工具使用后训练中的信号一致性问题。
该研究提出 TIPS 框架,通过仅基于最终结果的强化学习来训练生成式过程奖励模型(PRM),从而以低成本实现步骤级验证。实验显示,该方法在数学和智能体基准测试中表现优异,TIPS-Qwen3-4B-Thinking-2507 在 ProcessBench 上达到 85.2 F1,超越了 GPT-5.4-Instruct 等强提示词模型,但仍落后于 o1-mini。代码与数据已开源。
推荐理由:该方法利用结果奖励引导过程监督,在仅用少量轨迹数据下实现了超越强提示词模型的推理效果。
论文介绍 MotorMind,这是一个连接通用视觉语言模型(VLM)与确定性机器人控制的中间层动作表示及异步执行框架。该方案无需任务特定策略训练、代码智能体或 SAM3 等定位工具,在 LIBERO-PRO 基准上实现 66.7% 成功率(扰动下为 53.8%,优于此前零样本方法的最高 13.3%),并在真实 xArm6 机器人上达到 95% 平均成功率。
推荐理由:该工作提出 MotorMind 框架,证明通用 VLM 无需额外训练或工具即可实现零样本机器人操作,显著优于现有方法。
论文提出了 MM-ABC 基础模型,旨在解决移动操作中空间感知与异质臂基协同控制的挑战。该模型结合稀疏多级别视觉语言模型特征进行空间感知;引入仅用于训练的“未来分支”,利用世界想象和几何意图作为额外监督信号以增强感知与操作意图预测;并通过掩码联合注意力及清洁动作 X 预测来协调独立的操作与移动流。
推荐理由:该工作提出 MM-ABC 基础模型,通过视觉、协调与想象机制统一处理移动操作中的感知与控制挑战。
针对现有多步智能体训练忽略任务间重复子程序的问题,该工作提出从数据本身恢复层级结构并构建可复用经验树(X-Tree)。该方法将常用且成功的技能组合为子技能节点,无需调用大语言模型即可指导高效泛化。研究将其集成至离线强化学习、在线强化学习验证及策略自蒸馏三种训练设置中,在 WebArena、ScienceWorld 和 WebShop 三个基准上实现了显著的性能提升。
推荐理由:该工作从数据中恢复任务层级结构并构建可复用经验树,在 WebArena 等基准上显著提升了多步智能体的成功率。
该论文介绍 ALeWorldModel (ALeWM),这是一种基于联合嵌入预测架构 (JEPA) 的世界模型,旨在将预测信息集中到宽隐表示的紧凑前缀中。作者提出了 MixSIGReg 正则化方法,通过掩码嵌入与高斯活跃前缀及零坐标的混合分布进行约束,促使早期坐标块保留对预测和递归规划有用的信息。
推荐理由:该工作提出自适应隐式容量架构,通过混合正则化将预测关键信息压缩至早期坐标块,在目标条件视觉控制任务中实现优于固定宽度基线的成功率。
针对部分可观测环境下的多智能体路径规划问题,DMM 方法通过离散化、迭代式的意图去噪机制替代单次采样,有效解决了独立采样导致的联合动作不兼容问题。该方法在 MovingAI 数据集的 1,600 个任务中实现了 1,598 的成功率,覆盖率达到评估方法中最高的水平,同时保持了接近最强基线的解成本,并支持百万级智能体规模的扩展。
推荐理由:DMM 通过迭代意图去噪解决多智能体联合动作采样冲突,在 MovingAI 基准上实现最高覆盖率且成本接近最优基线。
该论文提出 Mara Chain,一种将优化过程中被丢弃的候选方案转化为后续迭代基石的新方法。现有 propose-evaluate-select 流程常因直接丢弃不合格候选而导致重复探索相同失效模式;Mara Chain 则保留并利用先前尝试积累的证据对拒绝项进行迭代精炼,同时限制链长并应用 Pareto-filtered Top-N 选择以控制候选池规模。
推荐理由:该工作提出 Mara Chain,将优化中被丢弃的候选方案转化为后续迭代的基石,在 AppWorld、TerminalBench 2.1 和 MuSiQue 等基准上显著提升了任务性能并减少了采样次数。
该研究通过 160,000 个策略在 114 个数据集上的大规模实验发现,离线强化学习与模仿学习中不存在单一主导算法,且超参数调优与基准组合显著影响结论。作者开发了数据集条件推荐器以提供任务特定建议,并开源了包含所有训练策略、评分、超参数及代码的 JumpStart 资源库,旨在提升研究可靠性。
推荐理由:大规模离线策略学习研究显示无单一最优算法,提供数据集条件推荐器与完整资源库。
论文介绍 NowWAM,一种不依赖未来视觉预测的机器人控制共训练框架,通过去噪当前观测直接耦合生成目标与动作表示。在 LIBERO-Plus 基准上,配合 FLUX2-Klein 模型达到 87.7% 成功率,相比基线提升 6.1 个百分点,同时将训练视觉 token 减半并加速推理。
推荐理由:提出无需未来预测的 NowWAM 方法,在 LIBERO-Plus 基准上提升性能并降低计算开销。
论文提出 Gated Token Recurrence (GTR),这是一种无需全局 Softmax 注意力的循环视觉骨干网络,结合了门控线性注意力、交替空间扫描方向和增强 SwiGLU 块。
推荐理由:提出无 softmax 的循环骨干网 GTR,通过蒸馏 DINOv3 实现高效稠密预测与多任务迁移。
地平线联合无问智科发布机器人指令理解与操作评测基准InstructMove,旨在解决机器人仅凭视觉捷径完成任务而忽视语言指令的问题。该基准基于Text-Indispensable原则,在场景中设置多个可操作候选目标,强制模型依赖语言消歧。
推荐理由:地平线发布InstructMove基准,通过多候选目标场景验证语言对动作选择的必要性,并证明仿真数据能提升真机指令跟随能力。