WorldRuler:支持可配置规则的交互式世界建模方法
该论文提出 WorldRuler 框架,利用可执行三维规则图组织定义、依赖与对象状态,连接规则执行、视频生成与感知反馈闭环。研究解决了规则状态持久化及未见物体上的规则视觉实现挑战,引入属性状态替换与反事实重建训练以控制外观与运动变化。作者构建了包含规则生效先于物体可见等案例的 RuleVerse 数据集,实验证明该方法在保存加载间保持规则状态一致性及准确实现规则结果的有效性。
该论文提出 WorldRuler 框架,利用可执行三维规则图组织定义、依赖与对象状态,连接规则执行、视频生成与感知反馈闭环。研究解决了规则状态持久化及未见物体上的规则视觉实现挑战,引入属性状态替换与反事实重建训练以控制外观与运动变化。作者构建了包含规则生效先于物体可见等案例的 RuleVerse 数据集,实验证明该方法在保存加载间保持规则状态一致性及准确实现规则结果的有效性。
论文提出了 RiskWorld 框架,用于共享占用预测和选择性轨迹替换。该方法融合空间风险场与时序行为上下文,利用流引导演化传输占用特征并通过符号残差校正。在 nuScenes 数据集的相机特征与标注数据上评估显示,RiskWorld 在 3 秒长时域内实现了最低的碰撞率,平均 L2 误差仅次于当前最先进基线,单卡 NVIDIA RTX 4090 运行速率为 11.5 FPS。
论文提出 X-Gaussian 方法用于 X 射线三维重建与新视角合成。该方法重设计了辐射高斯点云模型以排除视角方向影响,开发了可微辐射光栅化与体素查询技术,并利用扫描仪参数初始化相机信息。
针对视觉语言动作(VLA)策略在面对分布外物体时表现不佳的问题,该方法提出一种无需采集新数据的失败驱动数据增强框架。其核心在于直接操作 3D 空间,利用显式网格和时序一致的 6D 姿态轨迹锚定目标物体进行替换,从而保证多视角渲染的几何一致性。实验显示,在新型物体上微调 VLA 模型可使成功率相对最先进基线提升 16.5%,同时在真实机器人上将基础策略的成功率翻倍。
推荐理由:提出基于物理的物体替换框架,利用现有成功轨迹生成新演示以解决 VLA 模型在未知物体上的泛化问题。
论文提出了 WorldComposer,这是一个自动化的生成式 Real2Sim2Real 框架,能将真实全景图映射为高保真、任务就绪的仿真环境,并合成具有场景和物体变化的多样化数字替身。
FedS2R 是首个针对自动驾驶合成到现实(synthetic-to-real)语义分割的联邦域泛化框架,由 Tao Lian 等人提出。该框架包含两个核心组件:一是针对不稳定类别的不一致性驱动数据增强策略,二是结合特征融合的多客户端知识蒸馏方案以从多个客户端模型中提炼全局模型。
RoboBuilder 是一个让编码智能体利用标准零件、电机和定制 3D 打印部件协同设计机器人硬件并编写程序的基准。所有通过仿真的设计均需在物理赛道上构建测试。
NereidVLA 是一个视觉语言动作模型,利用 Sea2Know 数据集在无配对机器人运动监督下学习海洋空间知识,并通过仿真水下动力学适配。在实验室水池测试中,该模型实现 78.75% 的成功率,显著优于未微调的 InternVLA-N1(47.50%)。研究证明海洋空间监督能有效支持下游动作学习与物理水下导航任务。
研究对比了有无动作输入的语义预测器,发现执行动作在 Cityscapes 数据集最多提升中期 mIoU 2.5 个点,错误动作则降低高达 23.2 个点。特征级条件依赖度是输入级的 1.6 倍,且结果验证于合成环境及 Cityscapes、BDD100K 两个数据集与平台。代码已开源,论文被 WAM-AD Workshop 接受。
该研究评估了三种几何控制器(Regulated Pure Pursuit、Stanley、Vector Pursuit)与两种全局规划器(Hybrid A*、NavFn)在 Quanser QCar 及 Gazebo 环境下的交互表现。实验显示控制器排名跨环境转移一致,但规划器对硬件角加速度和速度的影响无法被仿真准确预测。所有配置平均计算耗时低于 0.5 ms,结果强调了物理验证的重要性。
论文介绍了一种名为 Homeward 的训练免费、即插即用观测适配器,旨在解决视觉 - 语言 - 动作(VLA)策略在部署相机发生位移或更换后性能急剧下降的问题。
推荐理由:针对冻结 VLA 策略在部署相机变动后性能骤降的问题,提出无需微调的观测适配器 Homeward,通过渲染已知运动学状态与估计未知场景深度来恢复训练视图。
针对未知环境中机器人的物体搜索任务,本文提出了 SearchDiffusion 这一基于扩散的规划器。该方法利用学习到的稠密效用图生成位置和航向轨迹,该地图表征了几何可达性、有用可见性和语义进展,并为采样提供目标函数。
Pixel2Perspective 提出面向具身智能的跨域泛化基准,涵盖空中与地面视角及红外等多传感器数据。该工作评估 CLIP 等基础模型在恶劣天气、仿真到现实场景下的开放词汇分割能力,并引入 MSRIQ 框架联合量化不确定性。项目页面与数据集已公开,旨在推动开放世界具身智能感知系统的鲁棒性研究。
EmergeFuse 提出一种基于像素级的 RGB-IR 融合框架,通过类相关热线索选择与文本对比图像校正,解决红外信息干扰 RGB-语言对齐的问题。实验在三个基准上显示,该方法相比现有融合方法,未见类别 mIoU 提升最高达 4.755%,严格互补转换率提升 15.730%。该研究旨在增强恶劣光照下的视觉感知能力,同时保持可靠的 RGB 预测结果。
论文提出 Set-valued Relabeling of Autonomous experience (SeRA) 框架,解决现有方法浪费自主经验或强化次优行为的问题。
One Shot Any View 系统利用源视频和显式 3D 先验,生成沿用户指定相机轨迹的同场表演重拍视频。该系统通过训练推理一致性及几何锚定 RoPE 偏移解决长焦浅景深导致的退化问题,并支持可选角色与场景参考图补充外观。在客观与人机评估中,One Shot Any View 均优于现有重拍方法。
论文 CommDreamer 提出一种融合原始车载 3D LiDAR、多小区蜂窝报告和相对运动学的无线电几何世界模型,利用分类递归状态空间模型压缩多模态测量历史以推断局部避障和方向性 SINR 动态。
本文提出一种教师监督的训练方法,首次证明连续时间扩散和流模型可在不存储图像的情况下从随机初始化进行训练。该方法让学生回归教师在滚动噪声样本池上的速度,通过随机步数推进轨迹获得独立、稠密且近似连续的噪声水平。实验涵盖 12 个来自 6 个家族的教师模型及 6 个数据集,在 CIFAR-10 上表现优于同规模标准训练,且学生网络可比教师小 4 倍。代码已公开。
论文提出 3D Human-to-Robot Affordance Transfer 新任务,构建首个包含人类先验与仿真验证标签的大规模配对数据集 HPAD(覆盖 2137 个物体、80 类及 13 种动作原语)。
Embodied models depend on real interaction data, yet collecting it on physical robots is slow and labor-intensive. Recent ego-to-robot pipelines retarget first-person view human videos to robot data via transferring hand and arm motion. They judge fidelity mainly by visual appearance. However, trajectories often fail in terms of physics: fingers hover beside objects, and grippers close on empty space. We argue that how the object moves and the contacts that drive the motion count. Thus, we present Ego2X, an object-centric framework that converts monocular egocentric video into physically executable robot data across dexterous hands and parallel grippers. Ego2X centers on CORE (Contact-centric Object-interaction REpresentation), which records each contact on the object by its surface anchor, as well as relative force, grasp mode, and interaction state. Throughout the pipeline, CORE corrects hand-object drift via object-relative constraints, steers inverse kinematics toward contacts the robot must realize, and preserves held objects during arm erasure and robot compositing. On HOT3D, contact-driven correction reduces in-contact hand depth error by 33.7%, while on EgoDex, contact-driven retargeting realizes 62.9% of annotated contacts, surpassing the official HuRo pipeline (27.9%). In RoboTwin 2.0, post-training X-VLA on Ego2X episodes alone, without simulator demonstrations, raises task success rate from 40.5% zero-shot to 67.0% across 200 paired scenes. We will publicly release our conversion pipeline and CORE-annotated dataset for dexterous hands and parallel grippers.
FOCBS 算法通过流冲突分支策略优化含未分配机器人的多智能体路径规划,在有限图实例上证明终止性与服务时间最小化。仿真与物理机器人实验验证了计划可执行性,实验室测试显示其相较停车协调基准将车队行程减少 40.8%。源代码及相关资源已公开提供下载。
该论文提出了 VLN-AR 框架,旨在让无人机在严格机载约束下实现语义推理、智能决策和长程导航。针对 3D 数据稀缺与域差距问题,作者构建了基于 3D Gaussian Splatting 的全自动管线生成逼真导航数据,并采用渐进式三阶段训练策略增强场景理解。
论文提出 Robot-centric Obstacle Maps from Unknown and uncalibrated eXocentric cameras (ROMUX),利用大规模仿真数据训练跨视图 Transformer,从墙顶或天花板安装的外心相机图像预测度量机器人中心障碍物地图,无需输入相机的位姿或内参。
针对原生移动 GUI 代理需要大规模覆盖单功能与跨应用工作流轨迹的问题,现有合成管线生成自由文本导致隐式子目标依赖关系缺失。本文提出 MobileWeave,将每个任务合成为源自可控制仿真器应用实现的执行程序,抽象为带语义类型的有向能力图,通过显式的值与对象依赖组合原子程序为单/跨应用复合程序,并通过原生执行验证指令与完成检查。
论文提出 ZERITH V2.5 视频动作模型(VAM),研究在固定演示和更新次数下,何种视频预测训练方式能改善后续动作学习。实验表明,适配多种噪声水平的监督比仅适配部署噪声水平更有效;权重迁移显示增益保留于视频生成模型中而非仅作为策略初始化;联合训练初期的损失与梯度测量证实目标域预测训练改善了起始状态。
针对多指手遥操作数据稀缺难题,研究结合监督微调与扩散引导强化学习,在 LEAP 手及$\pi_{0.5}$上验证了冻结视觉语言模型、仅训练动作专家的策略效果最佳。实验表明监督微调成功率与后续强化学习成效相关性低,且低秩适应(LoRA)方法可塑性最差。该结论发表于 CoRL 2026 灵巧操作研讨会,建议摒弃以 SFT rollout 成功率为检查点选择指标的做法。
针对现有合成眼球数据缺乏高质量 3D 解剖结构的问题,本文提出了 EyeDiT 模型。该模型利用光学相干断层扫描(OCT)、标注的解剖点云和近眼图像进行训练,实现了受光轴、瞳孔位置和半径及主体身份控制的眼球生成与新颖视角仿真。实验表明,其在单视角合成任务上的 PSNR 优于先前模型,且基于其合成数据训练的神经网络在仿真到现实的差距上显著缩小,结合真实数据时进一步提升了眼动追踪性能。
该论文提出 LoRN 方法,旨在不更新模型权重的情况下,通过学习选择预训练生成式机器人策略的初始噪声来改进其性能。研究发现世界 - 动作模型对视频噪声更敏感,但现有噪声导向方法难以扩展到高维输入。
论文指出潜在空间规划器依赖特征距离判断场景与目标的差距存在偏差。为此提出 DOCK 方法,利用机械臂关节角度的前向运动学作为无标注位移代理,结合视觉双流架构学习物体表征。该方法在仿真厨房场景中从近万条轨迹挖掘数据训练了物体、空间和动力学三个组件,规划成功率接近读取真值位置的 oracle,且具备跨布局与未见过物体的泛化能力。
推荐理由:该工作提出 DOCK,利用机械臂运动学构建无标注位移代理,在仿真环境中实现接近真值定位的规划成本。
针对收集人类游戏玩法成本高且现有数据集覆盖有限的问题,该研究提出 Game2Player 框架,让 Builder 智能体适配网页游戏并定义任务,由 Coding Player 和 VLM Player 尝试任务并反馈问题以迭代修复。
论文提出了 TTCov(Test-Time Coverage)方法,这是一种数据级的测试条件化策展技术,旨在解决传统方法仅优化训练侧标准而非直接匹配部署分布的问题。
研究利用扩散模型生成合成训练数据,以解决标注超声数据集成本高昂的问题。在 CAMUS 和 CardiacUDC 数据集上,结合抽象令牌与分割掩码的条件生成将 FID 降至 1.5,使 ResNet-18 分类准确率从 83.8% 提升至 87.2%,并将 U-Net 分割 Dice 系数最高提至 87.6%。
论文介绍 Orchestra 智能体框架,将多模态指令分解为有序子任务并跟踪完成状态,利用独立训练的进度评估器决定何时推进。在 RMBench-Compose 基准上平均成功长度为 7.35 个子任务,优于 HarnessVLA;在四个真实世界多步任务中相比基线提升 25%。代码与项目页面已公开。
针对现有导航系统依赖专用深度传感器或显式深度重建的问题,本文提出 Stereo-Planner,这是一个端到端的视觉到轨迹框架,能够仅凭立体 RGB 观测实现零样本的仿真到现实(Sim-to-Real)规划。
DroneGround 框架通过 Unreal Engine 5 和 Cosys-AirSim 生成合成数据集,结合 YOLO26s 检测器与 LoRA 微调的 PaliGemma 模型,将无人机载荷 F1 分数从 82.5% 提升至 96.3%,未见类别识别率达 80.4%。该方案有效缓解仿真到现实分布偏移问题,显著优于传统闭集检测方法。数据集与代码将在收到请求后发布。
针对现有闭环模拟器多帧块生成导致交互粗糙的问题,本文提出 FAR-Drive 框架,利用多视角扩散 Transformer 与细粒度结构化控制生成几何一致的跨摄像头视频。
该论文提出一种完全基于合成数据的系统,用于训练通用的手物跟踪控制器,无需人类演示。核心贡献包括 HOG 高效数据生成器和 HOT 跟踪器,后者通过强化学习和交互模仿学习实现从仿真到物理的迁移。方法支持多种物体形状和手部形态,并能在不同仿真器间迁移。评估显示该系统能让灵巧手处理包含物体重排和敏捷内部转向的挑战性长序列任务,旨在解决灵巧操作的数据瓶颈问题。
WoRD 利用学习到的轨迹先验,通过变分推断从部分观测中恢复智能体意图。该方法在机器人、行人及车辆仿真设置下均能保持多模态信念校准,克服了传统滤波器与分类器在模糊轨迹前缀上的失效问题。论文已被 NeurIPS 2026 接收,代码与权重开放许可状态待确认。
CodeReel 是一种无需训练的代理执行层,利用精确帧复用和阻塞感知调度将代码生成视频的等待时间较 Rebuild 基准降低 36.3%,较 Sequential 流程降低 57.9%。该方法在五个模型与两个框架上验证有效,使 Claude Code 和 Codex CLI 的构建中位等待时间分别降至原水平的 0.62 倍和 0.67 倍。
UnrealEvent 是一款运行于 Unreal Engine 5.5 的合成数据集生成管线,通过 V2E 事件帧生成器与 EasySynth 语义渲染将场景序列转化为配对事件表示及 YOLO 格式标注。该工具在 eTraM 基准上评估显示 YOLOv8 检测器具备强域内性能但存在显著的仿真到现实差距,尤其是行人目标;微调少量真实数据可提升实域表现,凸显资产多样性与传感器校准的重要性。