FAR-Drive:面向自动驾驶的帧级自回归视频生成框架
针对现有闭环模拟器多帧块生成导致交互粗糙的问题,本文提出 FAR-Drive 框架,利用多视角扩散 Transformer 与细粒度结构化控制生成几何一致的跨摄像头视频。
针对现有闭环模拟器多帧块生成导致交互粗糙的问题,本文提出 FAR-Drive 框架,利用多视角扩散 Transformer 与细粒度结构化控制生成几何一致的跨摄像头视频。
针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。
推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。
该研究揭示在保持样本与可行域不变的情况下,无损场景重分组使等分配支持子集证书的认证可用性从 480 次尝试中的 318 次提升至 471 次。结合无退化 Wait-and-Judge 理论,该方法在不减少见证基数或改变数值提案的前提下实现了更强的直接认证。实验表明,表观上的样本效率增益源于证书核算而非额外信息或决策风险降低。
论文提出了 Code World Model 2.0(arXiv:2611.22925),核心是 Invoker-Render 架构,通过双向创作模型与因果四步流式模型的配对,在共享结构代理、外观参考和语言条件下实现可控视频生成。
本文提出了 Arboreus,这是一个用于北方针叶林环境的逼真森林仿真器,旨在支持机器人自主算法的统计验证。该方法利用北欧生长研究参数化生成桦树、云杉和松树等主导树种,并结合 Copernicus 卫星数据集指导树木分布密度与种类,同时利用瑞典地籍局的地形数据生成真实感地面。
针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。
推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。
MentalGrid 基准评估显示现有多模态大语言模型在无需视觉反馈的动态空间模拟任务中存在感知局限与推理不足。为此提出的三阶段课程学习框架利用 16k 专用样本训练出 SpatialWalker,其平均性能较基线提升 33.8%,超越 Gemini-3-Flash 等专有模型。该模型在跨域基准上保持 4.9% 的平均增益,证实空间模拟是构建广泛空间智能的关键基石。
论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。
推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。
论文介绍 Orbis 2,这是一种针对驾驶场景的层级世界模型,将未来预测分解为两个不同时空尺度的操作:高层预测器负责长时粗粒度场景结构预报,低层生成器基于高层输出产生详细预测。
AttentionUNet-CA 利用高程、距主干道距离等四个驱动因子预测土地覆盖状态,在印度勒克瑙 2010-2020 年测试集上,其图优值(21.0%)略高于加权 U-Net CA(22.0%)和随机森林 CA(20.3%),但均不及空模型的整体一致性。研究指出注意力门未提升精度,人口密度与距 CBD 距离为最有用驱动因子,预测至 2030 年建成区将增长 22-35%。
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。
JEPTERA 架构集成联合嵌入预测架构(JEPA)与模型预测控制,在三个 Gym 场景的 180 次运行中完成 28/30 任务。该平台无需修改核心逻辑即可适配 Gazebo、ROS 2、MuJoCo 和 CARLA 等仿真器,并在三张城市地图测试中实现无碰撞单路线飞行。
论文提出了 VISTA(Vision-Informed Semantic Traffic Awareness)框架,旨在解决物联网智能交通系统中传输原始视频带宽大及车载设备资源受限的问题。
论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。
推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。
DynLimit 是一个端到端的仿真平台,用于区分机动请求、闭环执行与任务完成状态。该平台通过共享观测接口连接规划器与控制器,支持无许可的四轮模型或外部动力学求解器,并同步记录以支持评估与回放。
该论文提出了 GameWM 系统,旨在构建基于交互中心世界模型的下一代视频游戏。系统采用明确的分工策略:GameWM-engine 负责维护精确的规则、状态、相机和世界布局;GameWM-VM 则生成世界外观和玩家互动的细节。
是石科技正式发布多模态模型服务,通过自适应缓存加速、SGLang 显存协同及免训练 Token 压缩等技术,在保障生成质量前提下实现端到端平均 2.48 倍推理加速与 WorldSense 评测中 1.33 倍理解提速。该方案结合 Context Engine 结构化衔接素材与指令,构建覆盖 API 接入到结果交付的完整生产链路,解决批量生产中效率与质量的平衡难题。
禾赛科技旗下三维世界数据引擎Kosmo与物理AI基础设施公司Ropedia达成战略合作,共同推进高质量真实世界数据的规模化生产。双方联合支持的Ropedia Xperience 2研究项目正式发布,包含1589个三维扫描场景、74项任务及4230条第一视角记录,总时长131小时。
TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。
推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。
论文提出了 DySENSE 框架,这是一种联合多模态生成式 AI 架构,旨在通过合成静态城市卫星影像与空间对齐的动态月度建筑能耗图来解决现有研究的数据与方法局限。
EViDS 是首个将 CARLA 环境感知与 CarSim 高保真动力学集成的仿真平台,通过射线铸造轮胎路面交互及参考姿态对齐技术维持时空一致性。该平台支持在线闭环智能底盘控制,在动力学特性保持与环境信息可靠传递的测试中表现优异,为环境感知型智能底盘开发提供统一验证基础。
针对长视界任务中局部改进损害最终成功率及切换目标需重新合成的挑战,该研究提出反馈级联框架。在 Craftax 游戏中,通过从回合回报到分层目标的反馈优化,策略到达终局频率从低于 1% 提升至 50%,击败最终 Boss 达 28%。
NVIDIA 发布 Instant NuRec,这是一个前馈神经网络模型,旨在解决传统神经仿真方法速度慢且需逐场景调优的问题。该模型仅需一次前向传播,即可将多视角驾驶日志(约 10-20 秒)快速重建为包含静态与动态层的 3D 高斯泼溅(3DGS)世界、天空立方体及相机 ISP 校正结果。
推荐理由:NVIDIA 提出 Instant NuRec,通过前馈网络将多视角驾驶日志在约 1.5 秒内重建为可仿真的高斯泼溅场景,性能优于现有基线。
该研究提出"AI Sandbox"装置定义及五种原型架构,建立十五维测量指标与最弱环节许可规则以界定部署主张。框架涵盖驾驶、工业控制等四类实例的威胁建模,明确实验边界对证据解读的影响并映射至标准规范。预印本 arXiv:2606.18532 含 42 页正文及图表,旨在识别受控实验支持的声明与需进一步验证的假设。
该论文研究了交互式视频世界模型中的视觉持久性问题,发现当生成长度超出训练范围时,基于 KV Cache 的模型因位置编码偏移过大而难以检索信息。作者提出无需训练的 WorldTrace 框架,通过为压缩后的记忆槽分配独特的虚拟位置来保持可寻址性,并利用模型自身的注意力机制决定保留哪些观测或合并冗余内容。
NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。
推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。
LLM-to-Phy3D 提出一种新颖的在线黑盒优化循环,通过视觉与物理评估反馈驱动大语言模型实时生成符合物理约束的三维设计。在车辆设计优化消融研究中,该方法相比传统 LLM-to-3D 模型使目标域设计的物理合规性提升 4.5% 至 106.7%,显著增强了几何新颖性与工程性能。该成果已被 IEEE CEC 2026 接收并发表,为科学和工程领域的生成式设计提供了新的 AI 驱动解决方案。
PhysCapBench 是首个统一涵盖第三人称场景、第一人称操作及手持夹爪演示的物理标注基准,包含 1,500 条经人工验证的视频序列并覆盖七个物理维度。该基准显示,相比仅含元数据的描述,富含物理信息的视频语言监督可将视频重建的 LPIPS 误差降低 8.6% 至 30.9%,并在 pi0.5 策略微调任务中带来 7.5 个百分点的成功率提升。
推荐理由:PhysCapBench 作为首个跨域物理标注基准,通过量化语言监督中的物理信息缺失,为视频重建与策略微调提供了可检验的评估标准。
Ropedia Xperience 2 是一个包含 1,589 个米级 3D 扫描和 4,230 段第一人称视角录制(涵盖 74 项任务,共 131 小时)的数据集。
推荐理由:该工作提出将环境采集与行为演示结合作为物理 AI 数据金标准,并展示了从真人动作到机器人轨迹的转换方法。
论文分析了多智能体语言模型的评估实践,发现现有比较常将通信架构优势与样本多重性及推理计算混淆。研究合成九项包含 516 种配置的实证评估显示,在与基线匹配样本数或资源预算的可比对比中,多智能体系统平均准确率低于基线。
该研究针对大模型智能体任务交替进行推理与环境交互的特点,提出了协调优化方案以减少批处理总耗时(makespan)。方法包括利用工作负载资源模型指导 GPU 显存分配、轨迹感知调度以复用缓存、以及在环境容量受限时将样本准入与执行解耦并引入链推进动作调度。
该论文提出 Einstein World Models(EWMs),这是一种基于大语言模型的推理系统蓝图,旨在通过引入视觉时序推演来增强复杂思考能力。在 EWM 架构中,LLM 调用世界模块生成场景的短时序推演结果,这些结果不作为直接答案,而是作为可检查的反事实假设以支持后续推理过程。该工作将工具调用能力扩展至视觉思维实验领域,探讨可视化反事实事件是否能作为语言之外的复杂思考机制。
HaiRuo 模型从 30 天卫星海平面图中单次前向传播,同时输出 15 天海平面、地转流速及每日涡旋掩膜与轨迹。其核心组件 HaiRuo-1B 为无标签预训练的 10.5 亿参数基础模型,在相同解码器下将 15 天中心误差从 30.6 km 降至 25.2 km(-18%),并在厄尔尼诺 - 南方涛动周期内保持优势。开源权重、代码与项目页面已公开,支持跨六个骨干网络的物体注意力机制优化。
针对行星漫游器轨迹规划中难以追溯科学目标的问题,研究提出一种基于大语言模型的交互式助手。该系统结合 NASA VIPER 任务启发的仿真器与 ReAct 接口,在查询库测试中回复忠实度达 90.9%,较无工具访问的零样本提示提升近 65%。实验表明该架构能利用领域词汇解释规划结果并对比替代方案,为不确定性感知路径提供可信的可解释性验证。
论文提出一种部署适配方法论,用于在主动传感中选择贡献新表面测量的视角。该方法通过从有限本地校准数据中学习传感器返回适配器,在保持预训练预测器固定的情况下估计每个预测表面的测量丢失率,从而优先选择能填补重建间隙的视角。
论文介绍 InfraRSI,这是一个将开放指令转化为验证过的训练优化的代理框架。它通过五阶段工作流初始化锁定可编辑范围、校准集群噪声并协同优化启动参数与代码补丁。
Fable 5.2在智能体编程、科学研究等基准测试中全面超越Opus 5.5,软件工程测试达69.9%,输出速度提升30%且价格降20%。海外开发者利用其生成8小时零人工反馈的3A游戏及76分钟海底题材作品,但高推理档位导致Token消耗剧增,部分任务性价比下降。
量子位报道了成立四个月的初创公司 TensorWorld 物原科技在一个月内完成过亿美元融资的消息。文章分析了该公司提出的“物理基础模型”路线,即通过融合几何与合成动力学预训练来构建物理直觉,旨在解决高保真数据昂贵及仿真难以复现真实摩擦形变等行业痛点。
论文提出 Co-RL 框架,利用多个参数解耦的智能体相互提供奖励信号进行协同优化,以解决自奖励训练导致的偏差与同质化问题。通过引入异构模型家族、不同规模及重述样本来提升群体多样性,有效降低相关错误并抑制训练崩溃。