跳到正文
10月28日周三
  1. 上海人工智能实验室 · 科研动态68

    上海人工智能实验室推出 MatVerse 材料多模态大模型

    上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。

    推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。

  2. Hugging Face Daily Papers53

    SciGame:让智能体在现实与反事实世界中探索科学发现

    Hugging Face Daily Papers 收录了 arXiv:2610.37919 论文,介绍了 SciGame 基准。该工作将科学文献转化为结构化卡片,构建包含真实历史定律和反事实环境的任务接口,评估智能体在识别与发现设置下的表现。实验表明,熟悉先验会损害规律改变后的性能,自适应策略对强模型有益但可能伤害弱模型,且解释性好的回答可能掩盖定量失败。

10月27日周二
  1. 上海人工智能实验室 · 科研动态75

    上海AI实验室推出通专融合智能体书生-A1.5

    上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。

    推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。

  2. 上海人工智能实验室 · 科研动态37

    上海 AI 实验室发布“国智揭榜”黑客松及书生·端砚科教共创计划,推动产学研协同创新落地

    10 月 23 日,上海 AI 实验室联合壁仞科技举办交流会并发布多项合作计划。实验室启动“国智揭榜”首期数智求解黑客松与“书生·端砚”科教共创计划,依托书生-S2 大模型验证前沿数学能力并开发通识课程。此外,联合华东师范大学、壁仞科技及上海仪电构建共享算力池,打通科研出题、算力支持与产业验证的完整协同路线。

  3. Hugging Face Daily Papers78

    Skill^infty:实现智能体技能优化的递归自我改进

    该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。

    推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。

  4. arXiv · 机器人与计算机视觉72

    可微模拟器是否给出更好的策略梯度?:DDCG 与 IVW-H 方法研究

    针对可微模拟器中不连续动力学导致的偏差问题,本文提出 DDCG 轻量级测试以在 nonsmooth 区域切换估计器,并引入 IVW-H 每步逆方差实现来稳定方差。实验表明,尽管切换估计器能提升鲁棒性,但在实际部署中细致的方差控制往往起主导作用。

  5. arXiv · 机器人与计算机视觉59

    Code as Worlds:通过可执行代码表征物理世界以支持物理推理的代理发现方法

    论文介绍 Code-as-World 范式,主张用可执行的代码来表征物理世界的组成、动态演化及外观,以此提供紧凑且量化的抽象。研究开发了一种受溯因推理启发的代理发现循环,让智能体提出、执行、渲染并验证世界假设以迭代优化。实验表明该方法在 QuantiPhy 基准上达到最先进水平,超越主流专有模型,展示了可执行世界表征作为物理智能可扩展基础的潜力。

  6. arXiv · 机器人与计算机视觉72

    PRISM:基于先验引导的想象采样在世界模型中的应用

    PRISM 方法利用冻结的世界模型编码器提取动作先验,以引导目标条件规划。该方法的均值和预测不确定性用于搜索有用动作,而世界模型则评估这些动作的后果是否符合目标。实验在四个模拟控制任务和两个真实机器人平台上进行,结果表明轻量级动作头能提升规划性能,且同一融合接口无需修改即可接受针对相同冻结特征的扩散先验。

  7. arXiv · 机器人与计算机视觉82

    Crazyflow:一款准确、GPU 加速且可微分的无人机仿真器开源发布

    Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。

    推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。

  8. arXiv · 机器人与计算机视觉63

    WorldArena 2.0:扩展具身世界模型的模态、功能与平台基准

    WorldArena 2.0 是一个扩展的基准,系统性地沿三个维度拓宽了具身世界模型评估:在模态上从纯视觉扩展到视听触觉多模态;在功能上超越策略评估与规划,将世界模型作为交互强化学习环境用于策略优化;在平台上从仅仿真器扩展到涵盖多种具身形态的仿真与现实设置。该基准遵循标准化协议,全面评估感知质量、交互效用和跨平台性能,为追踪具身世界模型的进展提供综合测试床。项目页面包含代码和演示。

  9. arXiv · 机器人与计算机视觉82

    面向鲜活世界的创作:基于工具约束的 LLM Agent 用于可执行的多角色场景

    论文提出利用工具约束的 LLM Agent(Director 和 Scene Builder)在仿真引擎中构建可执行的多角色时空事件图,解决了标准流水线无法追踪动态世界状态的问题。实验显示,该框架生成的规范执行率为 80%,且能准确重构原始场景的事件、参与者及顺序,相关成果已获 ECCVW 2026 录用。

    推荐理由:提出工具约束的 LLM Agent 框架,将多角色场景构建为可执行的时空事件图,解决了标准流水线无法追踪动态状态的问题。

  10. arXiv · 机器人与计算机视觉15

    物理信息感知数字孪生实现奶牛核心体温精准预测

    该研究提出结合 ODE 热调节模型与行为马尔可夫链的数字孪生框架,利用 MmCows 数据集在奶牛核心体温两小时超前预测中取得 R2 0.783、F1 84.25% 及 PICP 92.38% 的性能。三阶段堆叠集成架构融合多模态特征与不确定性量化,显著优于消融实验基线,为精准畜牧养殖提供鲁棒的早期热应激检测方案。

  11. arXiv · 机器人与计算机视觉82

    为规划而适配:乐观的测试时世界模型适配方法

    论文提出了Optimistic Test-Time Adaptation (OpTTA) 方法,旨在解决潜伏世界模型在测试时冻结导致分布偏移下规划性能下降的问题。

    推荐理由:提出OpTTA方法,通过引入规划目标项优化测试时适应策略,在多项任务中将最终规划成功率平均提升13.5个百分点。

  12. arXiv · 机器人与计算机视觉72

    WorldPager:单张消费级显卡上实现无卡顿的长视界世界模型分层内存管理

    论文针对单卡交互世界模型受限于显存容量与带宽的问题,提出 WorldPager 方法。该方法基于相机位姿已知的前提,将 KV 缓存存储于 GPU/DRAM/NVMe 层级而非重复计算,并通过预取机制避免等待。实验显示,在 RTX 4090 上可实现约 37.5 分钟的连续视频生成且主机内存恒定,int4 量化下未见质量损失。

  13. arXiv · 机器人与计算机视觉65

    NeSySpec:基于神经符号技术的工程规范审计框架及其在飞机领域的应用

    NeSySpec 是一个集成且可解释的神经符号审计框架,旨在帮助工程师审查工程系统的声明规范,识别其遵循或违反的物理约束、发现被篡改字段并提出最小修正方案。该框架基于逻辑张量网络构建,利用从真实记录中学习的容差将领域物理关系编码为可微分级谓词。

  14. arXiv · 机器人与计算机视觉78

    视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

    针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

    推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。

  15. arXiv · 机器人与计算机视觉35

    Securing Edge & Physical AI:面向关键任务的抗量子物联网区块链架构

    针对公钥认证机制易受量子计算机威胁的问题,研究提出旋转机密性目标及 PARS 参考机制,协调策略触发的密钥建立与轮换。PARS-ESL 可选架构仅记录授权验证器维护的加密纪元状态而非高频交易,使资源受限代理能以轻量客户端参与。结果显示,在既定信任、受损、连通性及资源假设下,该架构对选定的边缘 AI 和 CPS 安全控制工作负载可行。

  16. arXiv · 机器人与计算机视觉82

    OSWAM:一种具备一步动作生成的有效世界动作模型

    arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。

    推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。

  17. arXiv · 机器人与计算机视觉58

    SPECOLA:面向规范驱动的机器人仿真评估工具

    SPECOLA 是一款用于在仿真环境中评估机器人行为是否符合信号时序逻辑规范的开源工具。它提供 Python API 和命令行接口,允许用户定义规格并创建相应监控器,同时集成了 LIBERO、RoboCasa、Isaac Lab 等九个仿真环境的适配器。该工具旨在弥补单纯依赖成功率指标的不足,能够量化任务完成裕度、对目标参数的敏感度以及潜在的规范违反情况。代码与适配器已公开。

  18. arXiv · 机器人与计算机视觉72

    迈向城市空间的时空智能系统:一种双智能体视角的综述

    该文章是一篇关于城市时空智能(STI)系统的综述论文,从双智能体视角探讨了如何将数字孪生技术与智能体技术整合到城市治理中。文章回顾了数字孪生如何构建持久且信息丰富的城市环境表示,以及智能体如何通过接口理解、推理、行动并随城市发展而进化。

  19. arXiv · 机器人与计算机视觉78

    SceneAgent:从三维及四维捕获到仿真环境的代理流水线

    论文介绍 SceneAgent,这是一个通过基于模拟器的视觉检查与修复来协调对象重建、物理建模和中间误差校正的代理流水线。它能处理 3D Gaussian Splatting、摄影测量、LiDAR 捕获、AI 生成的 3DGS 场景以及动态场景的 4D 视频,并结合对象分割、物理参数估计、部件分解、铰链连接和可变形仿真。

    推荐理由:该工作提出 SceneAgent 代理流水线,将多种视觉捕获转化为可交互仿真环境并生成数字孪生体与演示数据,显著提升了策略学习基线。

  20. arXiv · 机器人与计算机视觉58

    Dream to Assist:面向共享车辆控制的意图条件化世界模型

    论文提出了 Dream2Assist 框架,这是一种结合意图推断的循环状态空间世界模型,用于解决共享控制中主动对齐人类意图与保持可读性的双重挑战。研究通过虚构共演训练辅助策略,在不覆盖人类代理权的前提下支持离散的人类目标,并描述了将世界模型策略转化为安全、以人为本系统的完整部署流程。

  21. arXiv · 机器人与计算机视觉48

    FlockWorld:通过人工生命仿真迈向群体规模多智能体视频世界模型

    FlockWorld 是构建于 Reynolds Boids 算法的人工生命环境,支持配置独立数量的相机智能体并渲染同步第一人称视角。配套的 FlockDiT 是基于该数据训练的流匹配潜扩散 Transformer,能联合生成多智能体的同步视频以提升检测与仿真保真度。该系统作为受控测试床已接受 NeurIPS 2026 录用,代码与权重暂未在摘要中提及开放许可。

  22. arXiv · 机器人与计算机视觉38

    PhysCreator:从图像生成具备空间物理属性的 3D 资产

    PhysCreator 是一个统一框架,能从图像直接生成带有空间变化物理属性的仿真就绪 3D 表示。该方法通过体素对齐的隐空间联合建模几何、外观与物理属性,并利用视觉语言蒸馏将语义先验转移至体素级监督。实验表明,相比现有方法,PhysCreator 在视觉质量、物理合理性和泛化能力上均表现更优。

  23. arXiv · 机器人与计算机视觉68

    AuRA:从原子到比特——基于自主机器人交互的数字孪生构建

    arXiv 论文 AuRA 提出一种自动化系统,旨在减少构建物理信息数字孪生时对人力的依赖。该系统结合执行感知的抓取选择、源自机器人状态的夹持器运动测量以及注册的前交互几何与外观先验,实现了无需视觉跟踪的自主数据采集和受损物体信息的恢复。

  24. arXiv · 机器人与计算机视觉72

    TurboWAM:面向快速世界动作模型的“关键信息”学习技术

    arXiv 预印本发布 TurboWAM,一种旨在解决世界动作模型高推理延迟瓶颈的新技术。该方法引入结构化世界表示聚合模块与动作监督机制,通过减少执行的模型层数及缓存相关表示来降低计算开销。多项机器人操作基准实验表明,TurboWAM 在保持具有竞争力的任务成功率的同时显著降低了推理延迟。材料为技术报告,未提及真实部署结果或同行评审状态。

  25. arXiv · 机器人与计算机视觉72

    Mix Forcing:基于混合注意力的交互式视频世界模型的因果预训练

    针对交互式视频世界模型需自回归生成但直接适配会破坏视觉先验的问题,本文提出 Mix Forcing 范式。该方法利用双向与自回归的混合注意力机制(MoBA),联合进行教师强制与双向训练以构建强因果初始化,并通过分块交叉注意力支持在线文本交互。

  26. arXiv · 机器人与计算机视觉68

    Distilling Dense Trajectory Teachers For Large-Motion Video World Models

    针对现有视频世界模型在稀疏大步长轨迹下产生冻结帧和几何漂移的问题,本文提出 DTTD 后训练框架。该方法通过插值构建稠密轨迹,利用基模型自身生成可靠教师视频进行监督,并结合几何感知奖励与离线偏好优化来扩展运动范围。研究无需额外数据或更强外部生成器,采用累积课程策略逐步增加运动步长以减少能力遗忘。

  27. arXiv · 机器人与计算机视觉78

    WorldFailBench:世界模型是否理解策略失效?

    针对物理测试与仿真准备成本高且现有基准仅关注结果成功与否的问题,该研究提出 WorldFailBench 基准,旨在检验世界模型是否能忠实复现策略的失效机制。该基准包含三个任务:失败原因(复现可观测错误)、失败阶段(评估失效集中点)及失败边界(考察场景变化下的成败转换条件)。

    推荐理由:该基准通过三个任务揭示现有世界模型在复现策略失败原因、阶段及边界上的显著差距,为构建更可靠的评估工具提供方向。

  28. arXiv · 机器人与计算机视觉73

    Gaussian Episodic Memory for Long-Term Spatiotemporal Reasoning

    论文介绍 GEMS 框架,通过一次性重建并仅更新变化区域的持久化 3D 高斯溅射图,结合代理推理管线按需渲染新视角以回答时空问题。作者构建了包含 15 个环境、473 对问答的 GEMS-Bench 基准,实验显示该方法在物体定位和时空问答上优于基线,且渲染质量与专用更新方法相当。代码和数据已公开。

  29. arXiv · 机器人与计算机视觉78

    Saga:一种用于多模态患者世界模型的体内本体论

    论文介绍 Saga,这是一个多模态患者世界模型,能够从患者历史中学习共享状态以预测临床事件并生成多模态图像。研究基于 12 种癌症类型、461,370 名患者及 112 个中心的数据。

    推荐理由:该工作提出 Saga 多模态患者世界模型,通过共享状态连接病史与未来事件,在癌症纵向预测任务中展现出优于基线的性能。

  30. Hugging Face Daily Papers42

    Work Agents:系统、能力与优化综述

    Work Agents 提出以工作为中心的系统视角,将智能体定义为结合基础模型与运行时框架的执行单元。研究通过“工作持久性”和“开放性”两个维度分类数字工作形式,并识别出可靠执行所需的五大核心能力家族及联合优化方法。论文构建了统一框架以评估智能体在状态化工作空间交付可验证结果的可靠性,为未来持续委托与环境适应指明方向。

  31. Hugging Face Daily Papers53

    WebAnything:从野生网络到可扩展的代理环境

    论文提出了 WebAnything 框架,旨在解决 Web 智能体训练所需的多样化、可执行且可重置的网站环境问题。该框架通过 Explorer-Builder 收集浏览器可观测的结构和资源,并利用独立验证器检查候选环境并指导修复,从而在不依赖人工实施或后期修补的情况下,从真实 URL 重建基于源码的 Web 环境。