RoboEvolve:基于有限数据的机器人操作规划器 - 模拟器协同进化框架
该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。
推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。
该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。
推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。
该综述提出从单一游戏精通迈向同时创造与演化的理论游戏多元宇宙路线图,旨在构建全能通用智能体以铺平 AGI 之路。工作围绕数据集、模型、框架和基准四大支柱展开,试图突破束缚系统的五项根本权衡。项目页面与代码仓库已提供链接供查阅。
作者基于 OpenAI 于 2026 年 4 月 21 日发布的 GPT-Image-2,通过多阶段清洗流程从推特/X 公开帖子中构建了包含 10,217 张确认图像的社交媒体数据集。研究分析了图像的可读性、人脸检测及语义聚类特征,并发现推特的 CDN 在上传过程中系统性地剥离了 C2PA 内容凭证,使得基于加密证明的溯源验证不可行。所有数据与清洗代码已公开。
论文指出 OpenAI 的 GPT-Image-2 已模糊真实与 AI 编辑文档的视觉边界,作者发布包含 3066 张伪造收据及像素级掩码的 AIForge-Doc v2 数据集。
推荐理由:作者发布 GPT-Image-2 伪造文档数据集并评测四路检测器,发现人类与模型自身均难以识别其生成的伪影。
针对现有仿真数据生成器缺乏任务语义或需人工标注的问题,该研究提出 AffordSim,将开放词汇 3D 功能预测集成到基于仿真的轨迹生成中。给定自然语言描述,系统合成场景、发射功能查询并在地面化物体表面采样区域条件化的抓取,再经运动规划筛选可执行候选。
针对视频行为数据标注昂贵且隐私敏感的问题,作者提出利用 3D 眼动模拟器结合无头浏览器自动化技术,将参考视频中的真实虹膜轨迹提取并重放为合成数据。该研究发布了包含 144 个会话(72 个阅读、72 个对话)共 12 小时数据的 final_dataset_v1,评估显示生成轨迹在时间动态上保留了源数据特征(KS D < 0.14)。
AutoWorld 是一个交通仿真框架,旨在解决现有数据驱动模拟器因依赖高层抽象(如 3D 边界框和多边形)而丢失感知上下文的问题。该框架通过自监督世界模型将代理行为锚定在原始传感器观测中,利用激光雷达占用数据进行训练。
该论文针对文本到图像流匹配变换器在长尾设置下尾部类别输出保真度和多样性急剧下降的问题,提出 GRASP 方法。该方法通过条件空间的确定性划分与 Transformer 前馈层中的组别特定残差适配器,在不改变流匹配目标和采样器的情况下解决优化层面的病理问题。
作者引入 IndustryNav 仿真环境,包含 24 个仓库场景以支持闭环导航至指定目的地。研究引入了感知碰撞和近撞警告的安全指标,实验表明现有视觉大语言模型虽能到达目标但会与移动障碍物发生碰撞。此外,策略在熟悉路线上有效却无法泛化到未见过的新布局,凸显跨场景泛化仍是开放挑战。
论文针对单卡交互世界模型受限于显存容量与带宽的问题,提出 WorldPager 方法。该方法基于相机位姿已知的前提,将 KV 缓存存储于 GPU/DRAM/NVMe 层级而非重复计算,并通过预取机制避免等待。实验显示,在 RTX 4090 上可实现约 37.5 分钟的连续视频生成且主机内存恒定,int4 量化下未见质量损失。
arXiv 论文介绍 GaussianSpline,一种利用自适应非均匀分段三次贝塞尔样条建模每个高斯运动的方法。该方法联合学习控制点与时间分区,在保持近静态区域轨迹紧凑的同时为高度动态区域分配更多时间容量,并通过反射约束确保段间 G1 连续性以维持全局平滑与可微性。实验表明其在 Neural 3D Video、Google Immersive 及合成场景上显著提升了非均匀动态下的重建质量。
推荐理由:提出自适应非均匀贝塞尔样条方法,在动态场景下提升高斯泼溅重建质量。
论文提出 Patchwork 系统,旨在解决并发运行多个具身仿真环境时因独立构建场景而导致的 CPU 和 GPU 内存占用过高问题。该系统基于 E=T+Δ表示法,将共享模板(包含公共资源)与补丁(记录目标环境的变异)分离,在 robosuite 和 MuJoCo 框架上实现了资源共享运行时。
推荐理由:提出 Patchwork 系统,通过模板与补丁分离机制共享资源,在 robosuite 和 MuJoCo 上实现多实例 CPU 内存占用降低 88-92%。
FL4N 是首个不依赖显式 4D 原语的前馈潜在 4D 新视角合成模型,它将 4D 场景先验编码为统一的时空潜在表示。该模型利用轻量级动态编码器解耦物体运动与相机视差,仅通过图像合成目标训练即可实现实时渲染,并在真实视频上展现出良好的泛化能力,有效分离了视角变化与时间动态。
arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。
推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。
该论文介绍 VidEdit3D 框架,旨在解决现有文本引导的 3D Gaussian Splatting 编辑在灵活性、多视角一致性及应用非寻常角度物体时的局限。
OmniShowcase 提出了一种从多视角图像生成特定主体且保持三维一致的自动化视频合成方案,通过几何条件化方法利用参考视图重建表面法线图以解决未观测区域推断难题。该方法构建了包含十二种相机运动与八十八种轨迹配置的 Showcase-4K 数据集及 ShowcaseBench 评测集,在实验验证中实现了最先进的主体身份与三维一致性并保持具有竞争力的视频质量与动态效果。
基于 LumenMorph 工具包发布的 Synthetic Deformable Tubular Benchmark 包含 5,580 张 RGB 图像,覆盖六种场景家族及三种表面运动条件。该数据集公开相机姿态、几何深度与有限元记录等接口,支持区分配准覆盖率与几何精度并验证机械先验优势。其合成参考性质明确不宣称解剖或临床真实性,提供可重复性与预测分数回放验证机制。
针对基于扩散的现实图像超分辨率受限于 VAE 潜在表示信息丢失的问题,作者提出 HiFiPix 框架以在像素空间实现高保真重建与精细生成。该方法利用跨尺度小波判别器抑制块边界伪影,通过 MixCSD 正则化中间表示,并引入选择性 LoRA 剪枝以平衡生成能力与重建精度。实验表明该框架在恢复准确性和感知质量上显著优于现有潜在空间方法,代码与模型即将发布。
针对语义分割任务中数据集蒸馏面临的双层优化成本高和生成方法缺乏语义知识的瓶颈,本文提出 S$^2$-RL 框架。该方法将蒸馏问题重构为基于扩散模型的文本到图像生成范式,利用 GRPO 算法微调扩散策略,通过样本级语义对齐与类内特征多样性、集合间分布多样性的双重奖励机制,在不进行像素级梯度展开的情况下实现高效的知识压缩。
Temporal Slice Learning 方法将视频重构为紧凑的时间切片表示,在 GenVideo 和 AI-Artist 基准上实现了高效检测。相比 ReStraV 基线,该方法模型前向 FLOPs 减少超 400 倍、端到端推理快 3.6 倍。该工作已接受发表于 NeurIPS 2026,项目页面提供代码与权重。
论文提出 Zero-HLM 框架,旨在解决类人机器人行走与操作泛化受限于昂贵真实演示的问题。该方法通过高斯引导的智能体重建将手机捕获数据对齐至物理场景,并利用运动与环境共适应机制修正全身参考与交互几何。
推荐理由:提出 Zero-HLM 框架,利用手机数据与仿真生成零样本迁移演示,将 Unitree G1 任务成功率从 46.7% 提升至 66.7%,无需额外真实机器人数据。
论文提出 DriveUniTok,这是一个用于驾驶世界动作模型(WAMs)的统一多模态分词器,能将外观、投影 LiDAR 深度和自车运动编码为单一可解码连续潜在空间。
Fed-MAPTrack 提出了一种针对 RGB-热成像/事件/深度多模态跟踪的联邦学习框架,通过冻结主干网络并仅交换提示参数来解决传感器异构性导致的域不匹配问题。
该论文研究了在无 GNSS 海洋环境中无人机群的协同搜索问题,其中无人机间测距驱动合作定位,不确定性沿多跳参考链传播,影响连通性、避撞和搜索效果。作者提出一种不确定性感知控制屏障函数框架,通过费希尔信息矩阵近似级联定位协方差,将协方差模型及其变化率纳入连通性和避撞的约束边界中,并采用分层 Voronoi 目标策略保持队形。
推荐理由:提出不确定性感知控制屏障函数框架,解决无 GNSS 环境下无人机群协同定位误差累积问题。
论文介绍 SceneAgent,这是一个通过基于模拟器的视觉检查与修复来协调对象重建、物理建模和中间误差校正的代理流水线。它能处理 3D Gaussian Splatting、摄影测量、LiDAR 捕获、AI 生成的 3DGS 场景以及动态场景的 4D 视频,并结合对象分割、物理参数估计、部件分解、铰链连接和可变形仿真。
推荐理由:该工作提出 SceneAgent 代理流水线,将多种视觉捕获转化为可交互仿真环境并生成数字孪生体与演示数据,显著提升了策略学习基线。
该研究针对 Sentinel-2 重访影像与高分一号(Jilin-1)1 米参考影像间的十倍跨传感器超分辨率难题,构建了包含 1.15 万对地理匹配场景的基准数据集。
推荐理由:提出 CrossVAR 模型,在 Sentinel-2 与 Jilin-1 卫星数据间实现十倍跨传感器超分重建。
针对挡风玻璃导致的车内反射破坏 3D Gaussian Splatting 世界空间一致性的问题,提出 RIDE-Splat 流程。该方法无需清洁图像、反射掩码或预训练网络,通过两阶段学习将透射辐射与附着反射分离并重建干净场景。
针对 XR 应用需同时保持纹理真实与三维几何一致的挑战,研究提出基于 2500 组配对的微调食谱。该方法在保留 FLUX.2 高纹理保真度的同时显著改善了几何一致性,可作为深度感知与三维一致的 XR 流水线有效组件。该工作以海报形式亮相 IEEE ISMAR 2026(非归档),代码与权重暂未开放。
FlockWorld 是构建于 Reynolds Boids 算法的人工生命环境,支持配置独立数量的相机智能体并渲染同步第一人称视角。配套的 FlockDiT 是基于该数据训练的流匹配潜扩散 Transformer,能联合生成多智能体的同步视频以提升检测与仿真保真度。该系统作为受控测试床已接受 NeurIPS 2026 录用,代码与权重暂未在摘要中提及开放许可。
PhysCreator 是一个统一框架,能从图像直接生成带有空间变化物理属性的仿真就绪 3D 表示。该方法通过体素对齐的隐空间联合建模几何、外观与物理属性,并利用视觉语言蒸馏将语义先验转移至体素级监督。实验表明,相比现有方法,PhysCreator 在视觉质量、物理合理性和泛化能力上均表现更优。
arXiv 论文 AuRA 提出一种自动化系统,旨在减少构建物理信息数字孪生时对人力的依赖。该系统结合执行感知的抓取选择、源自机器人状态的夹持器运动测量以及注册的前交互几何与外观先验,实现了无需视觉跟踪的自主数据采集和受损物体信息的恢复。
针对复杂环境中具身智能体寻找目标物体的任务,本文提出了 ScheNav 框架及 Furnished-RPLAN 数据集。该工作利用草图(如手绘或方向标注)作为低成本引导信息,通过 SchemaField 模块融合引导信息与观测数据以预测空间价值场,实现了从粗糙示意图到探索与停止决策的转化。
RacerGS 提出一种紧凑的 3D 高斯泼溅(3DGS)压缩框架,通过哈希投影模型与 FiLM 调制自回归 GRU 上下文模型优化比特率效率。该方案在保持渲染质量的同时,相比原生 3DGS 实现超 150 倍压缩,较 Scaffold-GS 提升 28 倍。跨五个数据集的实验表明,RacerGS 在存储缩减与率失真性能上均优于现有方法。
论文提出 ParetoGS,解决 3D 高斯泼溅在不同预算下质量曲线滞后问题。该方法利用少量适应的预算锚点描述成员变化与参数演化,无需为每个请求数量单独优化即可解码中间预算。
MuSTEL 是一个包含超过 1450 万条标注文本行图像的大规模合成多语言 OCR 数据集,涵盖波斯语、阿拉伯语和英语等混合书写方向场景。该数据集由自然语言语料生成,集成了基于字体能力的选择机制、行内字体与样式变化、混合方向文本渲染以及高亮和下划线等功能。
针对施工等动态演化环境,本文提出 T-ConSG 方法,利用 LiDAR 几何证据增量构建包含自由空间、静态对象、动态对象及安装移除事件的统一时空场景图。研究在砌砖测试床导航、ConSLAM 数据集进度监测及仿真环境变化检测三个应用中验证了该方法对短期动态与持久变化的联合表征能力,支持机器人跨环境推理。
针对自动驾驶感知仿真中输出一致但视觉依据不同的问题,论文提出了概念决定性特征保真度(C-DFF)诊断方法。该方法从冻结的待测系统提取关键证据,利用现成分割模型将其投影到共享语义空间并对比真实与合成数据的概念重要性向量。
论文提出了 UltraFlash 方法,旨在解决兆像素级视觉合成中因频繁进行潜空间与像素空间转换导致的效率瓶颈。该方法包含两个核心组件:Latent Hyperloop 通过学习的潜空间捷径替代中间阶段的 RGB 解码 - 缩放-再编码过程;Sparse Patch-based Decoding 则利用缓存的统计量处理最终重建时的块接缝问题,实现稀疏 VAE 解码。
针对现有图神经网络在服装仿真中隐含处理摩擦力、无法在推理时设定摩擦系数的问题,该研究提出了一种模块化接触算子。该方法在冻结预测器的基础上,通过计算法向载荷并施加闭合形式的库仑修正,沿身体三角形路径传播诱导运动,从而显式解决摩擦问题。实验表明,相比需要重新训练的基线方法,该技术能单调提升贴合度并降低滑移,同时保持低穿透率和与参考求解器一致的拉伸特性,且推理速度仅为参考求解器的八分之一。
该综述调研了 113 种基于学习的灵巧操作方法,涵盖其运行的手部硬件、训练的 GPU 仿真器及结果报告方式。研究发现近半数方法采用强化学习在单一仿真器中训练并蒸馏至视觉学生模型,而另一半则通过遥操作演示利用视觉语言动作模型学习。自 2022 年以来相关发表工作已增长三倍,且几乎所有实验均基于四种手部硬件进行。