面向未来预测的递归自我进化:DeepEvolve 系统发布
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
论文介绍 UserArena 基准,包含来自 1.1 万用户的 6.47 万条会话轨迹,覆盖 56.6 万商品与 13 种动作类型。该基准配备交互式环境并支持基于生产 A/B 测试结果的离线验证,可实现从输出有效性到最终结果的五级评估。作者还提出了 On-Policy Trajectory Distillation 方法以提升长周期交互的仿真保真度,实验表明其在复现生产策略效果方面表现最佳。
上海AI实验室联合中国科学院金属研究所等机构发布自进化合金设计专家模型“书生·衍金”(AlloyEvo)。该模型通过自主设计方案、智能评估性能并沉淀经验,在航空航天3D打印工程钛合金研发中实现突破:样品抗拉强度达1817MPa,较现有基准提升12.8%,均匀延伸率持平。AlloyEvo已集成至书生·端砚科学发现平台,支持高温合金、特种钢等新材料体系的设计与研发。
推荐理由:上海AI实验室联合多方推出自进化合金设计专家模型AlloyEvo,在工程钛合金研发中实现抗拉强度提升12.8%的突破。
论文介绍 Embodied Manipulation Media Adaptation (EMMA) 框架,旨在解决大规模机器人操作数据获取成本高的问题。该框架包含 DreamTransfer 架构,用于生成多视图一致且几何合理的具身操作视频,支持前景、背景和光照的文本驱动编辑并保留三维结构;同时提出 AdaMix 混合训练策略,根据策略表现自适应加权样本以强调挑战性任务。
论文提出 DriveVLA-M0,一种带失败感知隐式记忆的检索增强视觉语言动作模型。该方法构建存储失败案例及场景结构表示的记忆池,设计专用检索模型解耦静态道路结构与动态交互以支持结构化检索。
推荐理由:提出带失败感知隐式记忆的检索增强 VLA,在 NAVSIMv1/v2 基准上提升性能且仅增加 26.44ms 推理开销。
该论文提出 WorldScape Policy 2.0,一种具备推理增强长期短期记忆的受控世界动作模型(WAM)。其因果短期视觉记忆提供局部交互动态,长短期事件记忆组织历史 VLM 输出以支持进度感知检索。
MASC 提出统一强化学习框架,联合优化金属感知 k 空间采样与伪影校正以解决 MRI 成像难题。该方法构建配对仿真数据集训练 PPO 智能体,在 FastMRI 跨数据集实验中验证了优于传统策略的泛化能力。代码与模型已公开,支持加速 MRI 采集与诊断辅助。
论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。
推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。
针对现有强化学习与运动追踪方法在泛化性与自然性上的权衡问题,论文提出 AdaDex 框架。该框架核心为 Hybrid Dexterous Mimicking,通过在密集运动追踪环境与稀疏奖励泛化环境并行训练共享策略,将数秒的人类动作转化为具备功能抓取、物体重定向及投掷等能力的灵巧技能。实验表明该方法在仿真与真实世界中均优于基线,并实现了跨模拟器迁移。
推荐理由:提出 AdaDex 框架,利用混合模仿策略将少量人类动作转化为可泛化的灵巧技能,并在仿真与真实世界验证了跨平台迁移能力。
论文介绍 IndustrialReMEmbR 系统,旨在解决仓库机器人车队在保留观测语义记忆时的高计算、通信和存储成本问题。该系统将 NVIDIA ReMEmbR 架构扩展至车队场景,利用端侧 NVIDIA Jetson 设备通过 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 对视频片段进行编码并提取检索嵌入与重建潜变量,无需上传原始相机帧。
论文提出了 SceneRig 系统,旨在解决仅靠视觉相似性不足以支撑机器人仿真的问题。该系统结合几何、视觉和物理工具重建忠实 3D 场景,并通过智能体在物理模拟器中执行编辑与验证循环以确保物理稳定性。
针对大规模人形运动捕捉数据在迁移到不同机器人时面临的挑战,论文提出了 FRDV 框架。该框架包含快速约束运动学重定向阶段和额外的动力学验证管道,利用自定义求解器实现高达每秒 9156 帧的处理速度,约为 GMR 和 ProtoMotions 的 136 倍。
推荐理由:提出 FRDV 框架,结合快速运动学重定向与动力学验证,显著提升人形机器人动作迁移效率并减少物理冲突。
该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
推荐理由:该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
针对片状模塑料(SMC)制造中缺乏大规模准确标注数据集的问题,本文提出了一种工艺感知的逼真数字孪生系统。该系统通过刚体仿真复现沉积运动学,并利用物理基础的偏振渲染模型生成真实外观,从而提供包含定向边界框、点标注、密度图及偏振渲染的精确同步标签。
针对控制系统的形式化安全保证难题,本文提出一种利用概率枚举检测前向不变性违反的训练框架,生成紧凑的反例集以精确捕捉失效边界。通过微调预训练的 HJ 值函数,该方法扩大了认证区域并缩短了时间。研究还引入了基于改进证书的屏蔽机制,在 Isaac Sim 仿真环境和真实自主赛车实验中均实现了零安全约束违规,证明了其在高速关键场景下的有效性。
作者提出 RoboCasa-Shift 基准,基于 RoboCasa365 构建受控单因素扰动与匹配洁净 - 扰动 rollout 对。该研究在四个长程任务上评估了 GR00T N1.5 模型,共执行 1,040 次正式 rollout,发现鲁棒性响应随因素和任务变化显著,且增加扰动严重程度并不总是导致单调性能下降。
针对混合质量的人类示教数据,本文提出 Advantage-Weighted Latent Steering (AWLS),这是一种离线后训练方法,旨在改进冻结的一步生成式机器人操作策略而无需更新其解码器。
论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。
推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。
论文提出 RLSplat 框架,解决现有前馈 3D 高斯泼溅(FF3DGS)方法在调整高斯数量时推理成本不随预算降低的问题。该方法通过学习高斯分配策略与资源线性解码机制,使表示大小、推理延迟和显存峰值均随预算减少而线性下降。
arXiv 论文介绍了 NeoWorld-3,这是一个基于编码智能体的框架,能从视觉观测重建可交互的三维世界。其核心 NeoSDK 提供底层几何、部件组合、可微参数优化及物理验证引擎;NeoMCP 则将这些能力封装为结构化 API,供视觉语言智能体进行代码编辑与迭代优化。
推荐理由:该工作提出 NeoWorld-3,通过可执行代码重建具备物理交互性的三维世界,并在双臂机器人上实现零样本操作闭环。
EchoNav 是一种结合时序聚合与占用补全的框架,通过冻结 VGGT-Omega 特征并融合历史残差提议来预测局部地图,无需深度或相机位姿输入。该模型在仿真序列双目标导航中达到 89.6% 成功率(基线为 57.1%),在轮式机器人 20 个场景的 60 次试验中达到 73.3% 成功率(基线为 33.3%)。论文还展示了四足和双足机器人的演示,代码与数据暂不可用。
HiQGS 提出一种基于分层时空查询的框架,通过分层时空编码器按图像位置、观测时间和相机姿态组织特征,利用时间自适应解码器检索相关证据以预测高斯场景状态。该方法在静态与动态场景重建基准上展现出优异的渲染质量与几何精度,验证了分层视觉编码及目标时刻感知查询的有效性。
针对场景文本编辑通常依赖合成配对数据的局限,本文提出 TextRIRO 方法,通过裁剪、打乱等扰动将单张真实图像转化为自配对监督数据,在保持风格的同时破坏语义以学习编辑行为。实验显示该方法在真实世界基准上兼具高准确率与视觉真实性,并构建了 TextRIRO-3M 大规模数据集用于提升长文本识别模型性能。代码已开源。
该研究针对现有深度学习标定方法因训练数据外参单一而导致的过拟合与泛化差问题,提出 SynCalib 框架。该方法利用标注有深度真值的全景图像数据集,在严格的外参约束下合成多模态标定数据。
论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。
DexGraspFlow 是一种条件链接级 SE(3) 流匹配框架,整合几何关系与运动学拓扑以解决跨具身灵巧抓取生成的挑战。该模型通过双流 DiT 建模链接间协调及链接 - 物体交互,利用运动学树距离的注意力偏差提供结构信息,联合学习平移和旋转速度场并生成关节配置。
论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。
推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。
美国具身大脑公司 Dream Labs 宣布完成种子轮融资,并发布世界动作模型 Dream-1。该模型通过预测末端执行器位姿实现零样本泛化,可控制从未见过的双臂平行夹爪机器人执行新任务。Dream Labs 正式开放 Dream API,提供每小时 3 美元的调用服务及仿真微调选项。测试显示其在性能、速度和成本上具备优势,但零样本成功率在未见任务中约为 9%。
推荐理由:Dream Labs 完成融资并开放 Dream-1 世界动作模型及 API,支持零样本跨机器人控制与仿真微调服务。
SolarRenderer 是一种结构条件化的视频渲染器,它通过冻结 MiniMax-H3 33B 骨干网络并添加两个轻量级 LoRA 来工作。该模型利用对齐的结构化视频(如游戏引擎布局、运动或相机参数)作为输入,无需类型标识符即可在骨干网络的帧位置进入原生参考路径。
针对机器视觉任务对低比特率图像压缩的高需求,本文提出了 SLIM 框架。该框架包含两个核心组件:在潜在空间聚焦于机器视觉任务中语义和功能重要的感兴趣区域(RoI)进行压缩,且推理时无需显式掩码;同时利用预训练的扩散模型,结合 RoI 关注的潜在表示与文本语义引导,对极低比特率下的严重信息损失进行补偿。
该研究提出利用合成状态转换引导视频交互生成的新框架,通过结构化分类学与图像编辑模型构建可控交互数据集。提出的 State-Guided Sampling (SGS) 采样技术有效缓解了条件生成中的伪影问题,配合自动化评估系统确保数据质量符合人类判断标准。实验表明,在基模型上微调该数据集能显著提升其生成合理物理交互的能力,为机器人及 VR/AR 应用提供关键突破。
针对收集机器人手物交互数据成本高且具身特定的问题,本文提出 RoboEdit 人机视频编辑套件,可将人类操作视频转化为动作一致、物理合理且手部状态对齐的机器人视频。
推荐理由:提出 RoboEdit 工具链与数据集,将海量人类操作视频转化为物理合理的机器人训练数据。
论文提出 MiDAS 方法,旨在解决预训练策略在新任务上零样本表现不佳的问题。核心发现是单个演示足以引导行为先验实现粗略的任务跟随,而通过冻结 VLA 表示进行基于价值的残差学习、以及精细的数据平衡,可将此粗糙能力转化为可靠的成功。实验在 LIBERO 和 RoboCasa 数据集及双臂 YAM 平台上验证了该方法能从仅偶尔成功的初始策略出发,经过数小时在线交互显著提升任务成功率。
针对心脏超声左心室分割的跨数据集泛化难题,研究通过手工超声描述符、VAE 潜变量及分割衍生特征,在六个数据集上实现了域偏移的事前估计。几何感知预处理显著改善了部分转移退化案例,表明表观域偏移主要源于视野与构图不一致而非声学差异;绝对 Dice 下降预测的 R-squared 达 0.612,MAE 为 0.082。
针对语言条件化操作系统难以区分任务变化与观测变化的问题,本文提出了 Sequential Planning via Anchored Robotic Keypoints (SPARK)。
针对真实事件数据难以大规模采集的问题,本文提出 FracEvent 仿真器,利用紧凑的分数阶弛豫电压动力学模拟像素响应历史与 ON/OFF 事件生成。该方法结合快慢响应模式并保留状态以关联残差响应与后续事件时序。在图像重建和光流估计等下游任务中,FracEvent 相比基于对比度阈值的现有方法取得多项指标领先结果。论文已接受至 WACV 2027。
GRAIL 是一种数字生成管线,通过结合 3D 资产和仿真就绪场景构建视频世界模型,无需重建物理环境即可合成交互数据。该方法利用已知的几何参数减少深度模糊,恢复度量级的人机物交互轨迹,并训练任务通用的跟踪器以适配人形机器人。仅使用 GRAIL 生成的数据,团队在 Unitree G1 上实现了多样化物体拾取 84% 的成功率和爬楼梯 90% 的成功率。
推荐理由:GRAIL 利用全虚拟的数字生成管线合成人形机器人操作数据,在 Unitree G1 上实现了高成功率的任务部署。
针对现有模仿学习缺乏显式子目标监督导致难以协调多阶段任务的局限,该工作提出 SADP 框架,利用基础模型自主生成带子目标标注的演示数据,并训练扩散策略。方法通过任务级与子目标级描述联合条件化动作生成,并利用轻量辅助头预测续写分数以驱动在线子目标切换及进度监控。
RoboPocket 是一个基于智能手机的机器人策略迭代系统,结合端侧感知与云端推理,提供实时采集引导并将策略预测轨迹以增强现实(AR Visual Foresight)形式可视化。该系统允许用户在不部署物理机器人的情况下识别策略弱点并收集针对性修正数据,实现了无需机器人的 DAgger 式修正循环。在多种真实世界操作任务中验证表明,在线修正数据采集相比仅扩展离线演示的样本效率最高提升 2 倍。
论文提出 Scene2Demo 自动化离线具身数据生成框架,输入单张 RGB 图像和用户查询即可构建交互式仿真场景并生成可执行任务配置、原语动作流及多视角视频。