Orbis 2:一种用于驾驶的层级世界模型
论文介绍 Orbis 2,这是一种针对驾驶场景的层级世界模型,将未来预测分解为两个不同时空尺度的操作:高层预测器负责长时粗粒度场景结构预报,低层生成器基于高层输出产生详细预测。
论文介绍 Orbis 2,这是一种针对驾驶场景的层级世界模型,将未来预测分解为两个不同时空尺度的操作:高层预测器负责长时粗粒度场景结构预报,低层生成器基于高层输出产生详细预测。
论文介绍 UNIVERSE,这是一个基于单掩码调制扩散 Transformer 构建的统一视频 - 动作模型,旨在解决部署世界动作模型时昂贵的未来视频生成问题。
作者发布了 UnderOneFacade,这是迄今为止最大的跨国界和跨大陆的 3D 建筑立面基准数据集,包含总计 27 亿个标注点的厘米级精度点云及层级化、标准化的语义标签。
推荐理由:该数据集提供全球跨域、厘米级精度的建筑立面分割基准,揭示了现有模型在细粒度识别与泛化上的瓶颈。
PhotoQuilt 提出一种免训练的引导式分块去噪框架,解决扩散模型难以兼顾高分辨率与全局结构的难题。该方法先以低分辨率生成全局构图固定布局,再在潜在空间上采样并注入噪声恢复生成功能,随后在固定分块内进行独立去噪。实验表明,该框架在全局结构与局部真实感上均优于当前基线,且无需二次注意力成本即可扩展至大幅面画布。
针对异质机器人在未知环境中受限于感知、通信和计算能力的挑战,本文提出一种由主机器人领航、移动传感器(如无人机)辅助的协作框架。该框架利用提出的β稀疏高斯过程模型,在带宽约束下在线决定传输哪些地图区域及执行何种导航动作,同时预测未探索区域。仿真结果表明,该方法相比无通信基线将累积路径成本降低约35%,相比全信息高斯过程基线减少94%的传输信息量,并验证了基于预测的地图预测及任务相关区域选择的优势。
SynVA 是一款结合流匹配方法与学习方法的血管网格及解剖一致动脉瘤合成工具包,仅基于生理原理和统计先验即可生成大规模数据集。该工具发布包含 50,000 个全标注网格样本的数据集,预训练可提升真实数据上的点云分割与形态参数估计效果。代码将在论文被接收后开源。
针对轨道操作中对未知空间目标(RSO)的导航需求,本文研究了可见光、热红外及两者融合的成像方案。研究通过像素级融合结合传感器优势进行前端跟踪,并提出一种基于剪影的新型视觉位置识别方法,该方法无需训练、全 CPU 运行且优于基线。实验对比显示,融合图像配合该剪影识别方法在光照条件、轨迹和定位性能上表现最佳,证明了多模态信息在不同导航阶段的互补性。
针对田间作物重建中薄重叠结构与光照变化等挑战,作者发布了 AgriChrono 纵向油菜数据集及新视角合成(NVS)基准。该数据集包含约一个月内的 160 次采集会话、四路 RGB 流与两路深度图。
推荐理由:该工作发布纵向油菜数据集与基准,并开源 AgriSplat 方法以解决薄重叠结构重建难题。
合成预训练仅在真实数据稀缺时(10%)为 CNN 模型带来显著增益,全量数据下无提升。ESP32-S3 推理耗时 152.7 ms 且能耗增加 16.3 mJ,RP2040 则慢约十二倍并超出闪存容量限制。研究强调需验证 INT8 输出与参考内核的一致性,而非依赖主机评分。
AttentionUNet-CA 利用高程、距主干道距离等四个驱动因子预测土地覆盖状态,在印度勒克瑙 2010-2020 年测试集上,其图优值(21.0%)略高于加权 U-Net CA(22.0%)和随机森林 CA(20.3%),但均不及空模型的整体一致性。研究指出注意力门未提升精度,人口密度与距 CBD 距离为最有用驱动因子,预测至 2030 年建成区将增长 22-35%。
Wildfire-SSR 是一种结合卫星图像与街景全景的地理定位感知多模态框架,旨在进行结构级的野火脆弱性评估。该研究利用视觉语言模型从事件前的街景中提取建筑属性并转换为结构化文本,通过解耦交叉注意力融合解码器将其与卫星影像空间对齐,同时使用冻结的 DINOv3 编码器捕捉高空视觉上下文。
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
论文介绍 WeVisForensics,这是一个由主调查代理协调多个自进化法医子代理的框架,用于检测视觉和音频线索中的伪造痕迹。该方法采用双时间尺度策略优化,结合新构建的 ForenCue-30K 数据集进行监督与强化学习训练。实验显示该框架在跨域基准测试中平均检测准确率达 95.2%,比最强基线高出 9.0%。材料为 arXiv 预印本,未提及同行评审状态或具体部署情况。
针对机器视觉质检应用中的数据稀疏与信任问题,研究通过集成法评估基于合成数据训练的模型不确定性。实验表明,在仿真到现实域偏移下预测不确定性增加,但性能下降主要由系统性偏差主导而非集成结果。该发现有助于有效利用合成数据并强调部署深度学习质检方案时的风险评估重要性。
SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。
论文提出 TRR(Thermal Robot Renderer),这是一个将空间解析的热状态附加到接触对象、并通过接触/传输/分离更新局部热交换的渲染器。材料展示了受控干预如何证明保留热量对后续接触结果的影响,并发布了包含 2,224 个静态 - 动态对的六任务基准数据集(共 4,448 条轨迹)。
推荐理由:TRR 引擎引入热力学状态模拟,生成带热历史的 RGBT 基准数据集与工程工作流,旨在提升机器人接触安全选择率并加速仿真到现实迁移。
针对多视图 RGB 图像及法线图生成中的跨视图信息交互成本问题,本文提出全局 - 局部代理注意力(GLPA)机制。该方法在保留单视图全分辨率交互的同时,利用紧凑的全局代理进行跨视图通信,并通过迭代优化代理以复用注意力参数。实验表明,该机制在 FLUX 和 Stable Diffusion 两种扩散骨干网络上均有效,显著降低了计算开销并提升了重建 IoU、NVS LPIPS 等指标。
论文介绍 GRASP 方法,旨在解决现有物体检测数据蒸馏依赖学习模型且可能改变对象空间关系的问题。该方法在不进行网络训练或推理的情况下,通过联合搜索图像选择与空间布局的凸分配子问题,将密集的原生监督信息压缩到有限像素中。
JEPTERA 架构集成联合嵌入预测架构(JEPA)与模型预测控制,在三个 Gym 场景的 180 次运行中完成 28/30 任务。该平台无需修改核心逻辑即可适配 Gazebo、ROS 2、MuJoCo 和 CARLA 等仿真器,并在三张城市地图测试中实现无碰撞单路线飞行。
论文提出了 VISTA(Vision-Informed Semantic Traffic Awareness)框架,旨在解决物联网智能交通系统中传输原始视频带宽大及车载设备资源受限的问题。
该报告总结了 arnav007 团队参加 IEEE BigData Cup 2026 UrbanTwin Sim2Real LiDAR Challenge(V2X-Real track)的提交工作。
本文提出 ISA-Wear 数据集,通过生成式图像编辑为真实街道场景中的限速标志添加雪、锈迹、植被等三种严重程度的磨损。研究发现在检测 - 读取管线中,磨损导致检测器漏检(仅识别出原始帧的 62%),而一旦给定边界框,分类器仍能读取 78% 的标志。
针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。
推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。
论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。
推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。
论文 PanDWM 提出将六个针孔相机视图拼接为单一 360°全景带,使视角一致性转化为图像连续性约束。该方法采用因果学生网络分步生成全景窗口,并通过前馈解码器结合邻帧静态高斯构建 4D 场景。在 nuScenes 数据集上,PanDWM 在单视口评分下 FID 低于多相机基线,速度提升 8-46 倍,同时将 FVD 降低 22-25%。代码与网站链接已提供。
针对自动驾驶模型训练依赖车载传感器且采集成本高的问题,本文提出 AnyR2V 框架,将路边多模态观测转化为不同车辆视角的七摄像头环视视频。该框架聚合时序观测构建共享场景表征,渲染外观、深度和布局条件以匹配目标车辆轨迹,并利用时空对齐的路侧 - 车载数据对进行监督生成。
DynLimit 是一个端到端的仿真平台,用于区分机动请求、闭环执行与任务完成状态。该平台通过共享观测接口连接规划器与控制器,支持无许可的四轮模型或外部动力学求解器,并同步记录以支持评估与回放。
论文提出了 M-CROSS,这是据作者所知首个针对连续水陆过渡场景的 SLAM 多传感器仿真数据集与基准。该数据集提供同步的 LiDAR、声纳、立体相机、IMU、DVL 及深度测量数据,包含 6DoF 位姿真值、介质状态标注和依赖介质的传感器退化模型。
PALIN 是一个大规模内在像素对齐的多模态数据集,包含约 8000 帧来自静态城市路口和多样化移动郊区场景的数据,联合捕捉几何与近红外强度信息。基于该数据集提出的 CMambaFusion 框架利用双向跨模态交互模块和门控拼接 Mamba 模块进行特征融合,实验表明其在纯 LiDAR 及代表性融合基线上实现了更优的精度效率权衡。
针对 SAR 转光学翻译中过度合成细节的问题,本文提出 SAR-TopoGuard,这是一个无需训练的推理层,可冻结应用于现有生成器。该方法通过随机采样候选、斑点感知梯度相关性排名以及频率门控机制,仅在 SAR 边缘支持处引入高频细节。在 SEN1-2 等数据集上的评估显示,该方法显著提升了 Pix2Pix、CycleGAN 和 CUT 的 PSNR 与 SSIM 指标,且仅增加极低的推理延迟。
arXiv 论文提出 Physics-Informed Causal Reasoning (PICR) 方法,旨在解决系统状态随时间变化导致相同动作产生不同响应的难题。
该论文提出了 GameWM 系统,旨在构建基于交互中心世界模型的下一代视频游戏。系统采用明确的分工策略:GameWM-engine 负责维护精确的规则、状态、相机和世界布局;GameWM-VM 则生成世界外观和玩家互动的细节。
论文提出一种人机闭环方法,自动挖掘强化学习策略在点云抓取任务中持续失败的案例,将其送入虚拟环境由人类完成抓取操作并生成新数据回流训练。实验显示,该方法将未见物体上的成功率从 55% 提升至 83%,并将原本失败率高达 24% 的困难案例成功率提升至 45%,同时未降低对未见物体的性能表现。
针对近身交互场景下缺乏大规模标注数据的难题,作者提出了 CISyn 数据集,利用物理仿真和 Blender 渲染生成了包含碰撞动力学、相互遮挡及姿态纠缠的 25,000 条序列。该工作还提出了一种不确定性感知损失函数,帮助模型更有效地学习重度遮挡样本。实验表明,结合 CISyn 并替换回归损失可显著提升近身交互基准上的表现。数据集、生成管线和代码已开源。
RescueVLM 是基于 SketchVLM 构建的开源、免训练且模型无关的救援工具,支持在本地部署并通过下拉菜单切换底层模型。该框架在德国消防队实地数据及实火演习中验证有效,单次自然语言查询即可将数百张图像浓缩为带 SVG 标注和 GPS 定位的关键帧短名单供指挥官审阅。
DeepVFR 是一个用于人脸视频修饰的初始受控合成基准,包含 1,024 对 30 fps、150 帧的视频片段。该基准由 Wan2.2 生成源片段并通过后端特定的人脸迁移构建同步代理目标,旨在解决专业编辑一致性与隐私合规难题。数据及排名将在论文接收后公开,但明确不替代人工修饰视频或建立合成到真实的泛化能力。
该报告披露了 UCF UrbanTwin V2X-Real Sim2Real LiDAR Challenge 的第三名技术方案,涵盖合成点云生成与三维目标检测。
推荐理由:报告披露了 UrbanTwin V2X-Real 赛道第三名方案的完整实现细节,涵盖合成点云生成与三维检测流程。
Guobiao Wang 审计了一种无源流匹配分割器在 120 名未见训练数据上的表现,发现模型常漏检脾脏且现有质量门控(往返过滤和体积 Dice)无法识别此类错误。作者提出 Chain-and-Fill 方法在 119 名患者上满足所有预注册终点,其严重组增益与 SAM 2 传播不可区分,且仅 1/357 的患者种子对受损。
推荐理由:原文审计了无源流匹配分割器在 CT 影像中的脾脏漏检问题,并验证了链式填充修复方法的有效性。
SynPanZ 通过渲染带随机化光照与相机运动的 rigged 黑猩猩模型,生成含每实例 2D 关键点位的 RGB 视频以解决濒危大猿标注数据短缺问题。在 DeepWild 训练集上引入约三倍合成帧后,ChimpACT 测试集的实例覆盖率从 12.34% 升至 22.54%,[email protected] 精度维持在 49.71%-52.25%。
是石科技正式发布多模态模型服务,通过自适应缓存加速、SGLang 显存协同及免训练 Token 压缩等技术,在保障生成质量前提下实现端到端平均 2.48 倍推理加速与 WorldSense 评测中 1.33 倍理解提速。该方案结合 Context Engine 结构化衔接素材与指令,构建覆盖 API 接入到结果交付的完整生产链路,解决批量生产中效率与质量的平衡难题。