跳到正文
11月6日周五
  1. 上海人工智能实验室 · 科研动态77

    上海AI实验室发布书生·天枢自主实验室操作系统

    上海AI实验室发布书生·天枢(Intern·LabOS)分布式自主实验室网络操作系统,旨在组织各地实验室协同开展湿实验。该系统以SCP-Lab为统一接口,借助书生物理世界模型W0驱动机器人完成操作,打通异构设备自主执行与数据回传链路。材料描述的是系统架构与功能验证,未报告真实药物上市或大规模商业化部署结果。

    推荐理由:原文给出了科研操作系统与物理世界模型的协同设置及开放入口,相关团队可据此判断它是否适合现有实验流程。

  2. 盖世汽车 · 汽车资讯35

    轻舟智航:从无人驾驶迈向通用物理 AI

    轻舟智航技术副总裁钱祥隽在 2026 第四届 AI 定义汽车论坛上提出,世界模型与强化学习是通往通用物理 AI 的必经之路。公司云端底座支持零样本生成恶劣天气及长尾场景,车端 Pro 方案基于地平线征程 6M 芯片实现城市 NOA 量产,MAX 方案算力超 500 TOPS。目前辅助驾驶系统搭载量已超 100 万台,测试车正在德国慕尼黑、法国巴黎等地路测。

  3. arXiv · 机器人与计算机视觉48

    Multimodal Graph RAG 如何突破长文档视觉理解局限

    针对多模态大模型在长文档中上下文受限且难以进行全局视觉问答的问题,该研究提出基于知识图的多模态检索增强生成方法。作者构建了包含参考摘要与支持事实的新基准 DLVQA,实验表明该方法在多跳问答及新基准上均优于现有 MMRAG 或知识图方案。论文已提交至 WACV 2027,代码与数据许可状态需查阅原文。

  4. arXiv · 机器人与计算机视觉83

    GigaBrain-WBC-0.5:一种用于人形机器人稳健全身追踪的行为世界模型

    该研究提出了首个行为世界模型(BWM)InterTrack,旨在解决通用运动追踪器仅适用于平地而跨地形控制器任务特定的问题。其 Transformer 架构联合预测动作、状态及行为分布,学习环境条件化的动力学;通过自动标注管道从重定向动作重建三维支撑几何以扩展交互训练数据。

    推荐理由:报告提出首个行为世界模型 InterTrack,在复杂地形交互与跌倒恢复上显著优于基线,并提供了代码、数据及预印本链接。

  5. arXiv · 机器人与计算机视觉68

    Khora:一种支持推理时任意数量智能体扩展的种群可扩展多智能体世界模型

    论文提出 Khora 框架,解决现有方法在固定智能体数量下训练的局限性。该架构将世界状态演化与视觉渲染解耦,通过统一渲染接口查询智能体特定观测,实现跨视角一致性且无需重训练即可支持推理时任意数量的智能体扩展。定性实验显示该方法能泛化到未见过的智能体数量并保持视觉质量与多智能体一致性,并实现了实时交互式开放世界仿真系统。

  6. arXiv · 机器人与计算机视觉74

    SKILD:一种统一的尺度不变扩散模型用于图像生成与连续超分辨率

    该论文提出了 SKILD 模型,利用自然图像和物理系统的尺度不变性,在单一无条件框架下统一了图像生成与连续超分辨率任务。通过仅改变起始时间步即可实现从粗到细的恢复,无需特定架构、条件分支或针对每个缩放因子重新训练。

  7. arXiv · 机器人与计算机视觉43

    WorldAct:将静态生成式 3D 世界转化为可交互对象中心场景的框架

    WorldAct 是一个利用多模态智能体引导场景分解、识别可操作物体并重建几何对齐网格的框架,能将 Marble 等系统的静态单体资产转化为支持对象级编辑和碰撞感知操作的场景。实验表明该框架在保持全局场景一致性的同时实现了更丰富的交互情景,为构建可编辑且具备物理交互能力的 3D 世界模型提供了实用路径。

  8. arXiv · 机器人与计算机视觉72

    VTAM:无需触觉预训练的接触丰富操作高效视觉 - 触觉世界动作模型

    VTAM 是一种针对接触丰富操作的视觉 - 触觉世界动作模型,无需触觉或动作预训练即可工作。该模型共享冻结的视频 VAE 和预训练视频 Transformer 权重,先适配以联合预测未来视觉与触觉潜变量,再端到端微调以预测动作、本体状态及基于触觉光流计算的轻量力流代理。

  9. arXiv · 机器人与计算机视觉82

    WoVR:作为可靠仿真器的世界模型用于 VLA 策略后训练 RL

    论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。

    推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。

  10. arXiv · 机器人与计算机视觉78

    模拟视角的几何:在 Qwen3-VL-8B-Instruct 中解耦表征与行为

    该研究调查了 persona-conditioned visual interestingness 在 Qwen3-VL-8B-Instruct 中的表征几何,发现早期层主要编码图像身份,而特定人物结构出现在深层。提示词框架对内部表征的重塑作用强于人物身份,但人物内容对行为判断影响更大,表明表征距离不一定反映行为相关性。

    推荐理由:揭示了多模态大模型中表征几何与行为判断的解耦机制,为理解模拟视角的内部运作提供了新证据。

  11. arXiv · 机器人与计算机视觉53

    GuidedWAM:自动驾驶中世界动作模型的免训练能量引导方法

    针对自动驾驶领域需重新训练才能适配新驾驶目标的限制,本文提出 GuidedWAM 框架,在采样阶段通过可微分能量机制向冻结的世界动作模型注入新的驾驶目标。该方法利用采样时的引导调度、每能量归一化及速度有界修正来稳定生成过程。

  12. arXiv · 机器人与计算机视觉78

    超越下一步:世界模型引导的多智能体场景中类人导航

    该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。

    推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。

  13. arXiv · 机器人与计算机视觉42

    Cosmos Policy 与 RoboCasa 测试时间搜索实证审计:候选选择信号微弱且仿真存在渲染腐蚀

    Cosmos Policy 和 RoboCasa 审计显示,在干净数据上学到的价值选择器比随机差 1.66 个百分点,82% 的状态候选结果相同。Token 剪枝虽降低 FLOPs 但端到端加速仅达 1.15 倍,未达 1.5 倍目标且自适应分配实验无结论。研究还发现并修复了计算密集型规划路径下渲染腐蚀率上升的问题,发布了检测器与修复脚本。

  14. arXiv · 机器人与计算机视觉35

    Edge-Assisted Crowdsensing for Explainable Cyclist Safety Perception 系统发布

    该系统利用车把摄像头与视觉语言模型(VLM)提取交通属性,结合开放街图数据通过可解释增强机器(EBM)预测骑行安全评分。在伦敦两条路线的 1,362 帧标注数据上,模型 CPU 推理耗时 0.4ms,二元分类准确率达 72.2%,物理车道分离贡献 +0.97 分。重编码后以 54 Mbit/s 支持千名骑手连续监测,误差仅增加 1.4 个评分点,为基础设施成本效益分析提供直接依据。

  15. arXiv · 机器人与计算机视觉72

    Social Humanoid:面向社会响应的类人机器人交互系统

    针对类人机器人难以与人类伙伴协调的问题,本文提出了 Social Humanoid 系统。该系统在 Unitree G1(29-DoF)上生成并执行对社会响应性的全身运动,其高层策略通过共享标记化表示对人与机器人的运动进行灵活序列建模,能在遮挡时预测伙伴动作;低层控制器负责执行生成的运动。

  16. arXiv · 机器人与计算机视觉9

    多模态触觉界面实现软度与热调节同步控制

    该研究提出一种基于颗粒堵塞和冷热液体热传导的触觉显示原型,实现了软度与温度变化的同时调控。机械评估显示可控刚度提升 300%,热表征表明表面均匀性良好且温度范围覆盖 10°C 至 50°C。闭环控制将设定值误差维持在 0.2°C,该技术适用于感知研究、医疗模拟及情感触觉领域。

  17. arXiv · 机器人与计算机视觉82

    GPWM:将世界建模为 3D 粒子运动

    论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。

    推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。

  18. arXiv · 机器人与计算机视觉78

    Transformer 基轨迹处方用于优化 sEMG 的机器人介导康复

    针对现有康复系统仅预设运动学轨迹而忽视神经肌肉激活的问题,该研究提出一种可个性化的 Transformer 模型,将表面肌电信号映射为与末端执行器交互时的接触力轨迹。

    推荐理由:该研究提出基于 Transformer 的模型,将肌电信号映射为康复机器人的接触力轨迹,在健康受试者实验中实现了低误差预测与即时推理。

  19. arXiv · 机器人与计算机视觉72

    交互式视觉健身房:利用仿真用户在交互世界中评估视觉交互模型

    作者提出交互式视觉健身房框架,旨在对支持持续物理任务的视觉交互模型进行闭环评估与训练。该框架联合仿真可执行任务环境与人类用户,贡献了烹饪、家庭操作和移动界面领域的三个模拟器及人物条件化用户模拟工具,并包含 315 个交互场景的基准测试。

  20. arXiv · 机器人与计算机视觉68

    通过统一世界 - 动作模型中的负向感知规划增强端到端自动驾驶安全性

    针对世界 - 动作模型(WAM)在安全关键场景中依赖专家轨迹模仿导致不安全替代方案约束不足的问题,该研究提出 NegWAM 框架。该方法构建几何上接近专家轨迹但携带安全风险的反例作为排斥锚点,引导预测远离危险行为,并编码为场景条件化的 rider token 以学习场景 - 轨迹兼容性。

  21. arXiv · 机器人与计算机视觉63

    WAM-Sim0.1:结合世界锚定记忆与在线强化学习的自动驾驶仿真模型

    该论文提出 WAM-Sim 模型,旨在解决自回归驾驶世界模型在长 rollout 中出现的结构漂移、身份漂移和质量衰减问题。该方法通过持久分层记忆(包含姿态对齐的结构 token、只读场景 token 和一次性实例 token)来维持跨时间尺度的上下文一致性,并利用在线流匹配强化学习优化自生成的 rollouts。

  22. arXiv · 机器人与计算机视觉68

    PVDepth:基于几何感知的时空适应全景视频深度估计

    针对全景视频深度估计面临的大规模数据稀缺及等距圆柱投影(ERP)特有的时空挑战,本文提出 PVDepth 端到端框架与 PanoCARLA 大规模合成 RGB-D 数据集。该方法通过渐进式球面感知噪声初始化策略和立方体校正时序建模模块,有效缓解几何失真与非线性动态问题,生成几何准确且时序一致的深度序列。代码与数据将在指定链接发布。

  23. arXiv · 机器人与计算机视觉82

    PlayGen2:学习具有显式三维状态的实时可玩世界

    PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。

    推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。

  24. arXiv · 机器人与计算机视觉78

    RoboImagine:一种利用语义和视觉反馈进行后训练的机器人世界模型框架

    论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。

    推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。

  25. arXiv · 机器人与计算机视觉58

    CRISP:基于约束解析的子系统间交互预测全身协作框架

    论文提出 CRISP 分层控制框架,将高维系统动力学重构为动态互联子系统的组合,以双臂操作为人形机器人代表应用。躯干建模为单刚体,双臂与下肢为浮动基动态模型,末端执行器间的闭环运动链及臂与躯干的连接表示为完整约束,拉格朗日乘子参数化肩部及末端间的交互力矩。

  26. 智东西 · 机器人68

    极智嘉发布 24/7 自主智能仓计划:以具身智能实现整仓自进化

    极智嘉在 CeMAT 上展示了通用人形机器人 Gino 1、Gravity 具身模型及全仓智能软件平台,旨在构建端到端仓储解决方案。文章指出,利用世界模型进行动作预判与抗干扰可提升操作稳定性;结合多形态机器人协同与共享数据底座,系统能持续沉淀运营经验并自主进化,推动仓库迈向全天候无人化自主运营。

  27. 上海人工智能实验室 · 科研动态75

    上海 AI 实验室推出支持递归式自我改进的科学多模态框架书生·元征

    上海 AI 实验室发布科学多模态框架书生·元征(Sage SciPerception),引入递归式自我改进模式,让模型能自主分析任务表现并提出新的投影模块方案以优化感知架构。

    推荐理由:上海 AI 实验室推出支持递归式自我改进模式的科学多模态框架,赋予大模型自主优化感知架构能力。

  28. Hugging Face Daily Papers78

    SIRIS:LLM 能否判断仿真误差对 AI 驱动系统研究的影响?

    论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。

    推荐理由:该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。

  29. Hugging Face Daily Papers48

    TurtLES:大规模湍流三维神经 PDE 代理基准

    TurtLES 是一个包含 400 条轨迹、每条 400 个时间步的 14 TB 数据集,涵盖几何、雷诺数及攻角变化。该基准通过高保真隐式大涡模拟生成具有活跃能量级联和密集不规则网格的数据,用于评估神经算子在自回归推演中的表现。研究识别了时序不稳定和小尺度能量丢失等关键失效模式,为工业相关网格分辨率下的湍流尾迹代理模型提供了新标准。