当更多规划有害时:用于世界模型的习得式规划器
Josef Chen 在 PushT 基准上测试了其固定动作更新器(1,505 参数),该模型解决了 8/16 个预留场景,总规划编码时间为 59.079 秒。
推荐理由:作者对比了固定动作更新器与多种规划器的性能,发现增加规划步数反而降低成功率并增加成本。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
Josef Chen 在 PushT 基准上测试了其固定动作更新器(1,505 参数),该模型解决了 8/16 个预留场景,总规划编码时间为 59.079 秒。
推荐理由:作者对比了固定动作更新器与多种规划器的性能,发现增加规划步数反而降低成功率并增加成本。
针对视觉强化学习中渲染与推理成本高昂的问题,本文提出了 Echo 方法,这是一种单阶段的离线强化学习框架。该方法利用基于状态的辅助策略进行逆蒸馏,收集无需渲染的低成本经验,并通过共享特权评论器直接改进视觉策略。
推荐理由:提出单阶段离线强化学习框架,利用逆蒸馏收集无渲染经验以加速视觉策略训练。
清华大学联合无问芯穹、智元提出群体经验学习(CEL)新范式,让机器人通过借鉴同伴经验实现自主进化。在96台真实机器人集群中验证了该范式,五项任务成功率均超人类平均水平,且随规模扩大持续提升。系统层面构建了容错异步训练系统,算法层面提出失败引导的经验检索微调方法,打通了从单台能力提升到群体持续进化的产业化链路。
推荐理由:清华联合无问芯穹、智元提出群体经验学习新范式,在96台机器人集群中验证了规模化落地路径。
针对现有代理式图像编辑器在步骤失败时重试工具单一、人工评分不可靠的问题,本文提出 EditAgent 框架。该框架将每个步骤路由至通用编辑器与专用方法,并为候选结果附加验证记录,利用现成视觉语言模型(VLM)进行列表级并行评测。实验显示,该方法在专家标注基准上显著优于微调奖励模型,且能以不超过一半的调用次数完成决策。
推荐理由:该文提出 EditAgent,通过路由策略与验证记录解决通用编辑器失败率高及评测不可靠问题。
上海 AI 实验室联合清华大学 AIR 及药学院推出 PFArena 专业蛋白质改造评测基准,基于 202 项真实实验数据,系统评估了蛋白质语言模型、通用大模型与科学智能体在候选生成、排序及实验信息利用上的能力。
推荐理由:PFArena 基准基于 202 项真实实验,系统评测了蛋白质改造任务中候选生成与排序能力,揭示了大模型在复杂突变组合下的局限及‘通专融合’的破局路径。
论文 RoboArchitect 展示了一种无需更新模型权重的方法,通过代码模型观察机器人执行过程、诊断失败并迭代优化控制架构(harness)。该方法自动设计了直观的控制策略(如处理卡住的手臂)和持久记忆机制,在多个基准测试中,将通用策略在未见过场景的平均成功率从 9.7% 提升至 43.3%,在未见过任务中从 12.7% 提升至 40.2%。
推荐理由:该工作提出无需微调即可自动设计机器人代理架构,显著提升了通用策略在未见场景与任务上的成功率。
分子之心发布了其AI蛋白质从头设计平台MMDesign的最新技术报告,覆盖18个不同靶点共19个设计项目,其中18个项目获得经实验确认的结合分子,项目成功率达94.7%。
推荐理由:报告展示了国产AI制药平台MMDesign在抗体从头设计上的系统性验证成果,涵盖GPCR等难靶点及跨模态能力。
论文针对具身智能模型的物理环境任务泛化挑战,提出 WorldBridge 架构,通过视频预测与动作桥接实现任务迁移。实验显示,在 RoboTwin 2.0 上仅用分布内监督成功率为 25.07%,加入无标签视频提升至 55.90%,再增加少量带标签演示可达 70.70%。该方法结合视觉记忆与动作强制机制,在多个操作基准测试中达到当前最佳性能。
推荐理由:该工作提出 WorldBridge 架构,通过视频预测与动作桥接实现任务泛化,在 RoboTwin 2.0 等基准上达到 SOTA。
论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。
推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。
针对生成式模型中提示词序列缺乏一致结构导致图像平滑过渡困难的问题,论文提出 Token-to-Token Alignment 框架。该方法包含两个阶段:首先将不同提示词重述为共享的结构化形式以建立语义对应关系,其次基于语义相似性对齐 token 嵌入表示。
推荐理由:提出 Token-to-Token Alignment 框架,通过结构化重述与嵌入对齐解决提示词语义错位问题。
针对现有方法难以揭示多模态扩散模型中去噪步骤的语义传播及文本图像交互问题,该研究提出 DifFRACT 框架,通过训练时步条件转码器近似 MLP 子层行为并构建紧凑归因图。实验表明该方法在稀疏性与忠实度权衡上表现优异,成功复现了从提示驱动到图像驱动的转换过程,并为系统性生成错误提供了可干预的解释。
推荐理由:该工作将基于转码器的电路追踪扩展至多模态扩散模型,通过构建可解释特征图揭示了去噪步骤中的语义传播机制与属性绑定候选机理。
FTP-1 是首个通用的触觉基础策略,旨在解决现有触觉策略依赖固定本体和传感器的问题。该模型通过异构编码器将图像、阵列及状态信号投影为统一的形态感知潜在 token,并由共享触觉 Transformer 专家联合建模。
推荐理由:FTP-1 是首个跨传感器触觉基础策略,在 26 个数据源预训练后,未见过的传感器也能提升接触丰富操作的成功率。
论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。
推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。
针对现代视觉语言模型(VLM)难以处理需要精确连续输出的问题(如事件时间边界定位或机器人控制动作),本文提出 DRIFT 框架,结合基础预测器与基于流匹配的生成细化模块。该残差公式将全局分布学习转化为局部残差建模,简化优化过程。研究在感知和规划任务上评估了该方法,涵盖多模态大模型、视觉语言动作模型及世界动作模型等多种架构,结果显示 DRIFT 一致优于现有的回归和生成类解决方案。
推荐理由:提出 DRIFT 框架,利用流匹配残差适配器解决 VLM 连续输出难题,在感知与规划任务上优于回归及生成基线。
论文提出了 GTP-FA(Grasp-Then-Plan with Failure Attribution)框架,旨在解决抓取与运动规划耦合导致的故障归因困难问题。
推荐理由:提出 GTP-FA 框架,通过故障归因优化抓取与规划模块,在 RL、IL 及 VLA 设置下均提升任务成功率。
针对现有链式思维推理难以编码连续视觉证据的问题,本文提出 ReGuLaR 框架,利用训练时的 ReGFormer 聚焦问题相关物体与关系,在推理阶段无需调用该模块即可生成答案。研究构建了 RGROUNDING-351K 数据集以支持模型训练,并在多个基准测试中取得了优于现有方法的最先进性能。
推荐理由:提出基于关系的潜在推理框架 ReGuLaR,通过训练时显式建模物体关系提升大视觉语言模型的连续证据编码能力。
针对长视野接触型操作中仅模仿成功样本监督不足的难题,该研究提出 RePO-VLA 框架,通过恢复感知初始化、进度感知语义价值函数及价值条件化微调等技术,将对抗性成功率从 20% 提升至平均 75%。材料介绍了 Failure-Recovery Benchmark (FRBench) 基准测试,并在仿真与真实世界双臂任务中验证了该方法的有效性。
推荐理由:RePO-VLA 框架通过区分成功、恢复与失败轨迹,利用价值条件化微调提升 VLA 模型的鲁棒性。
AmaraSpatial-10K 是一个包含 10,071 个合成 3D 资产的数据集,所有资产均经过标准化处理以支持直接摄入。每个资产提供符合物理尺度的.glb 文件、分离的 PBR 贴图、凸碰撞包络、配对参考图像及多句文本元数据。
推荐理由:该数据集提供标准化 3D 资产与独立评测套件,显著改善检索召回率并提升仿真稳定性。
论文提出 GEST-Engine 开源系统,可确定性执行事件图并渲染同步多角色场景视频,同时记录包括三维实体状态、相机状态、成对空间关系及实例分割在内的完整真值。
推荐理由:该工作利用游戏引擎生成带完整时空真值标注的视频数据集,填补了视频模型在实体间关系理解上的空白。
本文介绍 Ctrl-A(ControlAugment),一种用于图像视觉任务的自动化数据增强算法。该方法引入控制理论原则,在模型训练过程中根据操作响应曲线动态、独立地调整增强强度分布,从而消除对个体增强强度的初始化需求,并减少使用损害模型性能的增强操作。
推荐理由:提出基于控制理论的自适应在线数据增强算法,通过闭环机制动态调整增强强度以消除手动工程需求。