KnowVis:双视图评估与文生图模型世界知识 grounding 诊断
KnowVis 提出双视图评估框架,诊断文生图模型的世界知识 grounding 缺陷。该协议结合技能树与通用基准,利用结构化 MLLM 评测器验证原子知识与开放表达,在 NeurIPS 2026 E&D Track 接收并开源代码库以支持可扩展诊断。
KnowVis 提出双视图评估框架,诊断文生图模型的世界知识 grounding 缺陷。该协议结合技能树与通用基准,利用结构化 MLLM 评测器验证原子知识与开放表达,在 NeurIPS 2026 E&D Track 接收并开源代码库以支持可扩展诊断。
TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。
推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。
针对桌面环境安全约束依赖场景且指令未明确指定的挑战,该研究提出一种集成显式约束空间存储、任务与环境条件化适用性学习及多模态安全检查的行为规划框架。系统通过轻量级双塔模型识别适用约束,利用多模态安全检查器评估并修正初级计划,结合 LoRA 进行测试时自适应与参数高效微调以应对未知风险。该框架实现了显式安全知识表示、上下文感知选择、纠错检查及知识自适应的闭环整合,旨在提升机器人行为规划的安全性。
论文提出了 DySENSE 框架,这是一种联合多模态生成式 AI 架构,旨在通过合成静态城市卫星影像与空间对齐的动态月度建筑能耗图来解决现有研究的数据与方法局限。
针对现有视频语言模型仅检索静态属性而忽略动态信息的局限,本文提出 V-JEPA-LM 架构。研究证明动态信息存在于预测编码器的子空间中,并通过像素变换构建反事实监督数据,使语言模型在单阶段训练中即可读取速度等动态特征。
推荐理由:该文提出利用反事实监督让语言模型读取视频编码器中未被利用的动态信息,在单阶段训练中于多项基准测试中超越现有开源模型。
针对大规模视频数据缺乏动作标注且现有评估无法区分预测捷径与真实动作信息的问题,研究提出 Latent Action Support Ratio (LASR) 这一无单位离线指标。该基准通过机器人操作记录数据验证了 LASR 能检测已知动作信息、拒绝非动作捷径并支持不完备潜变量的分级比较。此外,利用 LASR 训练和审计的轻量残差适配器获得了描述性更优的点估计值及其不确定性评估。
针对基于流的生成模型依赖人工设定预测目标(如速度或噪声)的问题,本文提出 AnisoFlow 框架,引入可学习的各向异性缩放机制替代固定目标。该方法在保持网络架构与损失函数不变的前提下,通过闭式映射恢复速度场,显著降低预测误差。实验显示,AnisoFlow 在 ImageNet 256x256 数据集上将 FID 分数从 1.90 提升至 1.55,并在低精度推理下有效消除图像块接缝伪影。
该论文形式化了 CLIP 嵌入中的层次角分离现象,分析了图像与文本嵌入在对比学习下的不对称性,推导了线性损失和 InfoNCE 损失的闭式解,并通过合成实验验证了理论。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
推荐理由:本文从理论上解释了 CLIP 嵌入中层次结构产生的几何机制,并给出了闭式解。
该研究提出了 X-Nav 系统,据称是首个将双足人形机器人通过语言指令从室内引导至室外的长航程导航系统。系统包含 MELIOR 视觉导航模型(仅用 RGB 图像输入)和 X-Navarch 智能工作流。
该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。
推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。
针对冻结视觉世界模型中图像 - 目标规划依赖预测观测评分的问题,本文提出在预训练 I-JEPA 嵌入上拟合小残差适配器来优化潜在目标成本。该方法利用成功轨迹的观测顺序及失败回滚推断的比较进行学习,无需任务特定进度标签。
大晓机器人近日发布最新研究成果ACE-CaP-0,该研究探索通用模型通过主动获取经验自主开发、验证和优化机器人技能。ACE-CaP-0创新性地结合按需示范与按需仿真机制,AI智能体可自主判断请求人类示范或开展仿真实验,并结合真机反馈修订代码策略。
上汽奥迪在首届 AUDI DAY 活动中宣布,其 E7X 车型将全面升级搭载 Momenta R7 世界模型,实现从车位起步到精准泊入的全程连续 D2D 辅助驾驶。该功能将于今年 12 月通过 OTA 分批推送至已交付车型,门店试驾车目前已率先完成升级。此外,新车还推出了 E7X 先锋 quattro 必福版与 E5 Sportback 热猎限定版两款特别版本型。
上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。
推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。
AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。
推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。
针对长视界任务中局部改进损害最终成功率及切换目标需重新合成的挑战,该研究提出反馈级联框架。在 Craftax 游戏中,通过从回合回报到分层目标的反馈优化,策略到达终局频率从低于 1% 提升至 50%,击败最终 Boss 达 28%。
该论文研究了同策略蒸馏(OPD)如何重塑语言模型智能体在数学、ALFWorld 和 tau^2-bench 等任务中的 ReAct 交互模式。研究发现,通用推理监督能将数学工具尝试率从 70.4% 降至 14.4%,准确率从 16.7% 提升至 38.0%;代码解释器监督改善了家庭操作和零售查询能力。
Rhoda AI 在获得 4.5 亿美元 A 轮融资后,推出了直接视频动作(DVA)模型,该模型通过在海量互联网视频上进行预训练以建立对运动、物理和交互的强先验。与仅依赖遥操作的小型数据集不同,该模型结合移动性与操作能力,通过观察 - 预测 - 转换 - 执行的闭环实现泛化,并可在少量任务特定微调后部署于真实世界场景。
NVIDIA 发布 Instant NuRec,这是一个前馈神经网络模型,旨在解决传统神经仿真方法速度慢且需逐场景调优的问题。该模型仅需一次前向传播,即可将多视角驾驶日志(约 10-20 秒)快速重建为包含静态与动态层的 3D 高斯泼溅(3DGS)世界、天空立方体及相机 ISP 校正结果。
推荐理由:NVIDIA 提出 Instant NuRec,通过前馈网络将多视角驾驶日志在约 1.5 秒内重建为可仿真的高斯泼溅场景,性能优于现有基线。
该研究提出"AI Sandbox"装置定义及五种原型架构,建立十五维测量指标与最弱环节许可规则以界定部署主张。框架涵盖驾驶、工业控制等四类实例的威胁建模,明确实验边界对证据解读的影响并映射至标准规范。预印本 arXiv:2606.18532 含 42 页正文及图表,旨在识别受控实验支持的声明与需进一步验证的假设。
WISE 是一种统一框架,用于协调视觉语言动作(VLA)模型在后训练阶段何时以及如何利用世界模型的想象能力。该方法仅在交互相关状态调用想象,执行有界的多视角展开,并利用进度与完成信号评估候选未来,从而在减少约 80% GPU 计算时间的同时,在多种操作任务中提升性能并增强真实分布偏移下的鲁棒性与泛化性。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。
VideoLLM-MoTE 提出将大语言模型前馈网络转化为特定任务的专家架构,在 COIN 基准测试中激活约 20 亿参数即实现高于近期基线的平均 Top-1 准确率。该设计通过样本级任务路由使计算独立于存储的专家数量,相比稠密全激活及学习到的稀疏路由均表现更优。论文已获 BMVC 2026 接收,包含补充材料并开源代码与数据。
该论文研究了交互式视频世界模型中的视觉持久性问题,发现当生成长度超出训练范围时,基于 KV Cache 的模型因位置编码偏移过大而难以检索信息。作者提出无需训练的 WorldTrace 框架,通过为压缩后的记忆槽分配独特的虚拟位置来保持可寻址性,并利用模型自身的注意力机制决定保留哪些观测或合并冗余内容。
本文介绍 Ego-MC-Bench 基准,用于评估视频大语言模型在真实烹饪场景中进行反应性、逐步任务指导及主动纠错的能力。实验表明当前最先进模型在该基准上表现困难,主要归因于缺乏包含错误与适时干预的训练数据。
NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。
推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。
论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。
推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。
MarsRetrieval 是一个针对火星地理空间发现设计的检索基准,涵盖成对图文检索、地貌检索及全球地理定位三项任务。评估显示即便强基础模型也难以捕捉特定地貌差异,证实了领域微调在行星环境下实现泛化地理空间发现的关键作用。代码已公开,适用于计算机视觉与天体物理仪器方法研究。
论文介绍 CineWild,这是一种针对野生动物纪录片的无人机自主航拍模型预测控制(MPC)框架。该方案联合控制无人机运动与相机焦距,通过自适应变焦、避开动物视野及平滑低噪机动,在影像质量与动物福利间取得平衡。研究在仿真环境中进行了消融实验并与基线对比,同时在真实世界完成了感知与相机执行管线的概念验证。作者表示将开源代码。
LLM-to-Phy3D 提出一种新颖的在线黑盒优化循环,通过视觉与物理评估反馈驱动大语言模型实时生成符合物理约束的三维设计。在车辆设计优化消融研究中,该方法相比传统 LLM-to-3D 模型使目标域设计的物理合规性提升 4.5% 至 106.7%,显著增强了几何新颖性与工程性能。该成果已被 IEEE CEC 2026 接收并发表,为科学和工程领域的生成式设计提供了新的 AI 驱动解决方案。
CABOT 是一种将环境网格设为主动计算介质的新模型,使无需灯光或内存的弱能机器人能在四状态下实现排线与无限探索。该模型在仿真中验证了五状态场静默排线、三状态任意聚集及迷宫引导等能力,证明环境资源而非机器人自身是核心度量。研究通过 19 页论文与 5 幅图示展示了从惯性地板到活性网格的范式转变。
AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。
推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。
针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。
推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。
该研究通过跨 6 个模型家族的 10 种多模态配置进行因果消融,对比了邀请心理场景构建的空间意象任务与仅靠符号规则可解的符号操作任务。在 Chameleon-7B 中,消融视觉语言轴投影导致 BIG-Bench Hard 导航任务准确率下降 27.6 个百分点,而布尔表达式保持完整并提升 5.6 个百分点,形成 33.2 个百分点的双离解效应。
针对视频扩散模型存在的显著物理错误问题,本文提出 K2V 框架,将物理推理任务分配给语言模型驱动的关键帧生成模块,使扩散模型专注于在物理正确的中间状态间进行插值。该方法在 Physics-IQ Verified 基准和 PhyGenBench 上取得了最先进的性能。
FORGE 提出一种无需全身运动轨迹或关节角度参考的力感知多粒度控制系统,仅需稀疏的双腕位姿与粗略运动指令即可部署。该系统结合动量观测器与仿真接触力监督训练的修正策略,在无手腕力/力矩传感器下通过本体感觉估计低频等效交互力并稳定全身校正。实验验证了其在刚性物体持续接触挤压、不同负载下的蹲起搬运任务中的统一控制稳定性及下游扩散策略执行效果。
AgriSense 框架结合 Isaac Sim 虚拟温室与四足移动操作臂,利用冻结的 DINOv2 和 BERT 编码器联合预测十二项环境参考及干预标志。在源分组测试集上,全模型、去图像及去语言配置均达成 43/44 次区域决策正确率,未体现多模态增量增益;温度与湿度预测误差分别为 0.249 度和 2.03 个百分点。
针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。
推荐理由:提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。
arXiv 预印本论文《Rethinking Actions: Continuity-Aware Priors for World-Model Planning》提出 LG-DKGP 方法,通过结合近期与长程执行历史预测神经延续并学习高斯过程残差。
论文介绍 Reins 框架,使 GPT-6.1 Sol 等前沿大模型能在无任务特定代码的情况下,通过调用工具与原子动作控制双臂机器人。系统包含一个编排实例负责链式执行带条件的动作,以及一个叙事者实例持续监控摄像头并报告变化。
该论文提出 ActWorld-JEPA,一种将联合嵌入预测架构(JEPA)与潜在规划结合的世界模型方法,旨在通过观测上下文和提议轨迹在隐空间进行未来预测并指导驾驶决策。