ALPS:用于世界模型的视觉状态编码器
ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。
推荐理由:该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。
ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。
推荐理由:该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。
论文提出未来片段预测方法,作为教师强制去噪的辅助目标,直接监督时间间隔片段以捕捉场景演化而非仅局部连续性。该方法无需额外预训练视觉编码器且保持推理不变,在更低计算预算下实现更优物理合理性,并可能为构建自回归世界模型提供结构化表示空间。
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。
推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。
针对长视界任务中稀疏奖励导致的信用分配难题,本文提出 Self-Credit 方法,利用策略模型生成的带引用摘要作为自生信用信号,并通过比较同一提示下成功与失败轨迹的引用动作进行组内重缩放以剔除不当信用。
推荐理由:提出 Self-Credit 方法,通过组内重缩放将稀疏奖励转化为稠密监督信号,在 BrowseComp-Plus 等基准上显著优于基线。
NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。
推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。
上海AI实验室联合中国科学院金属研究所等机构发布自进化合金设计专家模型“书生·衍金”(AlloyEvo)。该模型通过自主设计方案、智能评估性能并沉淀经验,在航空航天3D打印工程钛合金研发中实现突破:样品抗拉强度达1817MPa,较现有基准提升12.8%,均匀延伸率持平。AlloyEvo已集成至书生·端砚科学发现平台,支持高温合金、特种钢等新材料体系的设计与研发。
推荐理由:上海AI实验室联合多方推出自进化合金设计专家模型AlloyEvo,在工程钛合金研发中实现抗拉强度提升12.8%的突破。
钟志华团队与清华大学合作,利用 AI 赋能 CAE 仿真使分析效率提升 10 至 200 倍且精度同步优化。该技术已覆盖碰撞、结构性能优化及振动噪声等复杂计算场景,同时推动商用车“引导式自动驾驶”商业化落地。
针对长周期任务中代理单次成功但重复运行失败的稳定性问题,论文提出了 RiseHarness 框架。该框架在固定模型权重的前提下,通过翻转同一配置下的成功与失败轨迹,结合运行时监控的内部痕迹分析模型动作与命令执行、反馈及上下文管理的交互机制。
论文提出S3(Spectral Null-Space Swap)方法,这是一种无需训练的成对检查点组合策略。研究指出推理能力的核心存在于非思考模型主导奇异方向投影的零空间中,移除该分量可大幅提升效率而不损害准确率。实验在2B至30B参数量的稠密及MoE架构上验证,相比完整思考模型,S3平均降低27.4%推理token开销,同时整体任务准确率提升1个百分点(如在HMMT25上准确率达+8.3%)。
推荐理由:提出S3方法,通过交换非思考与思考模型的零空间权重,在推理效率提升27.4%的同时保持准确率。
ReRef-3D 是一个针对受控三维桌面场景的语言引导单物体放置基准,包含 998 个场景与 33,826 条指令。评测显示 PlaceIt3D 在区域监督下达到约 80% 的放置准确率,LLaVA-3D 约为 70%,且最近邻与对齐关系最难处理。该基准已提交至 ACL Rolling Review,代码与数据暂未开放。
该论文提出一种基于 Transformer 的自编码器架构,旨在解决跨不同骨骼拓扑结构的运动重定向难题。核心贡献是引入可学习的骨架图扁平化方法,将基于图的位移编码以乘法形式整合进模型,从而在无需成对数据的情况下实现完全无监督训练。实验表明,该方法在零样本评估中将全局关节位置误差降低了 43-47%,并在包含专家动画师的用户研究中,在动作对齐和物理合理性方面获得最高排名。
arXiv 论文介绍 UMM-Reflection 方法,利用交错强化学习在统一多模态模型内联合优化反思文本与基于流的图像修订,无需外部验证器即可实现跨轮次信用分配。实验显示该方法在 BAGEL 基准上 GenEval 指标提升 12.05 点,且增益可迁移至 WISE、OneIG-Bench 和 T2I-CompBench++ 等未见过的任务。
针对现有协议依赖生成历史或参考视频导致无法真实评估记忆能力的局限,该研究提出 OPIS 基准,严格锚定初始观测中的固定对象实例进行评测。数据集涵盖现实、具身机器人及游戏世界共 500 个案例,包含 12,672 个刚体、连杆和可变形物体的密集标注。
针对大视觉语言模型(LVLM)幻觉检测中存在的过自信和高延迟问题,该研究提出 SpanCalib-VLM 混合双系统架构。该方法融合 XLM-RoBERTa-Large 与 SigLIP 构建多模态序列标记器,并与微调后的生成式 VLM(Qwen3.5-4B-SHROOM-SFT)结合,通过 Union-Calibrated Fusion 策略利用校准概率重评分候选跨度。
论文提出 NeoWorld-Pro 框架,利用多模态大模型的零样本推理与代码合成能力,将单张 RGB 图像转化为指定物体几何、关节及物理属性的可执行程序,并通过物理引擎闭环迭代修正生成结果。实验表明该方法优于开环及现有单目重建方法,支持稳定堆叠等复杂下游任务。材料为 NeurIPS 2026 接收的预印本,未报告真实机器人部署结果。
arXiv 发布 DA-WAM,一种耦合联合嵌入预测架构与候选轨迹评分的决策对齐世界动作模型。该方法在联合训练中利用观测场景动力学锚定未来表示,并通过规划目标捕捉安全与效用相关的区分特征;引入动作条件化预测器为每条候选轨迹生成独立潜变量,配合多头轨迹评分器估计规划因素与整体效用;通过硬负样本的安全关键后训练进一步提升几何相似但结果不同轨迹的判别能力。
该论文提出 WorldScape Policy 2.0,一种具备推理增强长期短期记忆的受控世界动作模型(WAM)。其因果短期视觉记忆提供局部交互动态,长短期事件记忆组织历史 VLM 输出以支持进度感知检索。
针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。
推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。
论文提出 JOPP-3D 框架,通过联合利用全景图和点云数据实现语言驱动的开放词汇场景理解。该方法将 RGB-D 全景图转换为宽视场切向视角及 3D 点云,提取并对齐基础视觉 - 语言特征,从而支持自然语言查询生成两种模态的语义掩码。
论文提出了 Scene-R1 框架,这是一种无需预训练 3D 检测器或密集点云骨干网络的视频 grounded 大语言模型,专门用于 3D 场景推理。
该研究提出一种分布式车队控制器,保障多车系统在无信号灯路口实现安全且平滑的穿越。通过闭环路径设置与切换系统指数收敛分析,证明在温和增益条件下可确保瞬态期安全及稳态期同速避撞。有效性已在高保真 CARLA 仿真器中利用多款商用车辆模型得到验证。
针对现有方法依赖简化表示而忽视细节几何的问题,该工作提出 GALA 模型,通过显式点云感知实现细粒度支撑与包含约束推理。模型采用两阶段训练策略对齐几何与文本模态,并在多源场景数据集上显著优于基线。此外,团队开发了基于模型的文本驱动场景生成智能体管线,相关数据集与代码将开源。
推荐理由:该工作提出融合点云感知的几何语言模型,解决细粒度放置约束推理难题,并开源多场景数据集与计划 - 放置 - 验证智能体管线。
针对 Joint-Embedding Predictive Architectures (JEPAs) 存在的对象信息分散、缺乏显式实体对应以及点距离对空间位移不敏感等挑战,该研究提出 Slot-based Joint-Embedding Predictive Architecture (Slot-JEPA)。
研究通过受控评估发现,在 HighwayEnv 测试床(1Hz, gpt-4o-mini)上,经验记忆的收益主要源于最佳预热池抽取,而非检索机制本身。仅含 15 token 的谨慎指令即可达到碰撞合并上限,且基线端口质量缺失会导致结论反转。团队已发布经审计的测试床、端口及缓存数据供验证。
这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。
该论文提出了一种名为 Latent Projection 的方法,旨在解决世界模型中潜变量包含无信号噪声的问题。作者利用 SIGReg 正则化将潜边际驱动为标准高斯分布的特性,假设潜序列为 Gauss-Markov 过程,通过拟合状态动力学矩阵 A 同时获得协方差结构。
推荐理由:该方法利用世界模型训练中的正则化结构,以零额外成本拟合状态动力学矩阵来剪除潜空间噪声,在导航任务中将成功率提升最高 54.7 个百分点。
论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。
推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。
论文介绍 IndustrialReMEmbR 系统,旨在解决仓库机器人车队在保留观测语义记忆时的高计算、通信和存储成本问题。该系统将 NVIDIA ReMEmbR 架构扩展至车队场景,利用端侧 NVIDIA Jetson 设备通过 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 对视频片段进行编码并提取检索嵌入与重建潜变量,无需上传原始相机帧。
MindView 基准包含来自三个室内数据集的 513 个场景共 1,500 个样本,涵盖几何主导与语义主导两类任务。评估显示 11 个生成器在扩展上下文下得分均下降,而经 MindView 训练集微调后的 BAGEL 模型整体分数提升 24.3 点且未依赖目标基准标注。提出的无训练开销 MindCue 证据选择器逆转了扩展上下文下的性能下滑并优于标准基线。
该论文提出 KoalaGS 方法,利用输入视图计算的图像复杂度先验来指导高斯泼溅训练中的点云重定位与降级策略。研究发现在低算力预算下,简单区域的高斯数量过多会拖累渲染质量,该方法通过偏置重定向至重建较差区域并平滑过渡层级细节,在三个数据集上实现了更优的渐进式流送效果与结构保持能力。
推荐理由:该方法利用图像复杂度先验优化高斯泼溅的层级细节,在降低算力预算时保持场景结构并提升低容量下的渲染质量。
MAPLE 是一种无需离线训练的预测性探索方法,利用当前部分地图中的几何线索在线生成多个合理的地图假设以评估前沿增益。该方法在 KTH 楼层平面图及真实 SLAM 环境的多种传感器量程下,均优于非预测性探索并可与学习型方法竞争。其轻量级过程化构建支持有限算力资源下的预测探索,且实验表明更准确的地图预测未必带来更好的探索效果。
针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。
针对大规模人形运动捕捉数据在迁移到不同机器人时面临的挑战,论文提出了 FRDV 框架。该框架包含快速约束运动学重定向阶段和额外的动力学验证管道,利用自定义求解器实现高达每秒 9156 帧的处理速度,约为 GMR 和 ProtoMotions 的 136 倍。
推荐理由:提出 FRDV 框架,结合快速运动学重定向与动力学验证,显著提升人形机器人动作迁移效率并减少物理冲突。
MARE(Modular Autonomy and Rendering Environment)是一个基于 Unreal Engine 5 和 ROS 2 的开源仿真套件,专为月球车在极端光照条件下的感知与自主导航设计。
该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
推荐理由:该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
论文提出了 VisualEvolve 框架,旨在解决预定义视觉操作和训练习得的工具使用策略限制 VLM 有效性的问题。该框架通过 Select-Execute-Evolve-Evaluate 循环,利用技能库快照选择机制在独立验证集上筛选有效历史快照以限制性能回退,并通过渐进式证据访问(PEA)引导能力差距诊断。
该论文提出 PACE(Plan, Attend, Check, and Emit)框架,旨在解决流式视频理解中过早回答的问题。该方法无需额外训练,通过规划观察内容、评估草稿稳定性及事件完成度来优化响应时机。
Arthur Ouaknine 和 David Rolnick 提出 GeoMixture 框架,旨在解决地理空间基础模型(GFMs)因预训练目标和模态差异导致的表示不一致问题。
推荐理由:提出 GeoMixture 框架,通过多表示对齐将单一编码器适配多个地理空间基础模型,在九个基准数据集上实现跨任务一致性。
论文提出 HRoPE(Homography Relative Positional Encoding),旨在解决现有几何相对位置编码仅关注传感器光锥而忽略场景表面几何的问题。