跳到正文
11月13日周五
  1. arXiv · 机器人与计算机视觉82

    PhysCapBench:首个跨域物理 grounded 视频描述基准发布

    PhysCapBench 是首个统一涵盖第三人称场景、第一人称操作及手持夹爪演示的物理标注基准,包含 1,500 条经人工验证的视频序列并覆盖七个物理维度。该基准显示,相比仅含元数据的描述,富含物理信息的视频语言监督可将视频重建的 LPIPS 误差降低 8.6% 至 30.9%,并在 pi0.5 策略微调任务中带来 7.5 个百分点的成功率提升。

    推荐理由:PhysCapBench 作为首个跨域物理标注基准,通过量化语言监督中的物理信息缺失,为视频重建与策略微调提供了可检验的评估标准。

  2. arXiv · 机器人与计算机视觉72

    BWM-Forge:面向具身智能的智能体世界编程技术报告

    BWM-Forge 是一个用于可控机器人视频生成的代码驱动框架。给定机器人资产和任务描述,该框架接受初始图像、含运动数据的图像或人类演示视频作为输入。一个编码智能体构建可编辑的 Blender 场景程序以指定物体、机器人运动和相机视角;生成的代理视频为视频生成模型提供结构和运动参考,后者负责添加视觉细节。

  3. arXiv · 机器人与计算机视觉73

    Where to Generate Touch: Do Image Latents Preserve Material Recognition?

    该论文研究了在图像潜在空间中生成触觉是否保留了材料识别信息。实验发现,基于 Stable Diffusion VAE 的重建结果能保持物体身份(匹配准确率 76.7%),优于离散分词器重建,且接近真实触觉数据。研究据此选择了 SD-VAE 潜空间进行光到触的生成器训练,代码将在论文接收后发布。

  4. arXiv · 机器人与计算机视觉65

    不完美检测下的主动物体搜索需要何种世界模型?一项研究

    针对不完美检测如何影响机器人“看哪里”和“何时停”的决策问题,该研究提出了贝叶斯主动漏检感知物体搜索(BAMOS)方法,在 Isaac Sim 仿真环境中系统考察了目标信念、占用信念及检测误差对搜索策略的影响。实验表明,维持并更新目标信念对于在不确定观测下实现可靠搜索至关重要,且其贡献度随检测误差增加而提升。该工作已被 CoRL 2026 Workshop 接收,代码已开源。

  5. arXiv · 机器人与计算机视觉83

    CoCode-World:面向多人世界模型的共享 3D 代理表示

    论文提出了 CoCode-World,这是一个用于双人视频生成的共享 3D 代理框架,旨在解决多玩家生成模型中不同视角下共享实体的一致性难题。该方法将场景布局、运动和遮挡的结构控制与角色及场景外观的视觉合成分离:可编程代理定义结构信息,RGB 引用引导外观细节;通过拼接成对的代理视频、外观参考和目标视图,利用预训练视频模型的注意力机制在单一生成分支内实现跨视角通信。

  6. arXiv · 机器人与计算机视觉73

    Bind-WAM:一种由绑定不确定性引导的选择性未来想象世界动作模型

    论文提出了 Bind-WAM 方法,旨在解决世界动作模型(WAMs)在每个重规划步骤都生成视觉未来的高成本问题。该方法引入语言 - 物体绑定不确定性概念,利用离线标注流程识别任务相关对象并检测参考不匹配、不可见和身份漂移等问题,进而训练轻量级路由器预测当前观测下的不确定性。

  7. arXiv · 机器人与计算机视觉78

    ReTime-Compose:让驱动世界模型移动场景而非仅移动相机

    Yuqiao Feng 和 Xiaoyu Ao 在 arXiv 上发布研究论文,指出当前广泛使用的控制指标仅检查相机是否跟随指令,而忽略了场景响应不足的问题。作者发现现有模型生成的场景变化最多仅为真实视频的三分之一,且无法区分执行与忽略的速度指令。

    推荐理由:作者指出主流驱动世界模型仅移动相机而未同步场景,提出无需训练的 ReTime-Compose 方法以几何方式注入计划。

  8. arXiv · 机器人与计算机视觉78

    未来预测分数忽略了什么:关于世界模型的预测还是持续?

    预训练视频世界模型常依据未来预测分数进行选型,但该分数混合了编码器质量、近期相似性及预测器贡献。研究通过匹配对照组在 2.7 万家庭第一人称视频试验中分离三者,发现 V-JEPA 系列内部预测器贡献差异显著,且仅对动作条件化模型为负值。建议报告未来预测分数与其持久性基线的差距以增强可解释性,下游效用需另行评估。

    推荐理由:提出用匹配对照组分离预测分数与编码器效应,建议报告差距而非原始分数以评估世界模型真实性能。

  9. arXiv · 机器人与计算机视觉78

    你的世界模型知道动作有后果吗?

    该文指出当前具身世界模型的指标多关注输出质量,却忽视了对反事实动作后果预测的保真度审计。作者提出利用敏感性分析检查模型对动作扰动的强制响应,以评估其预测能力,并强调硬件部署需建立新的评估框架来平衡状态误差与准确的敏感性预测。材料为 CoRL 2026 研讨会论文,未涉及具体产品发布或真实机器人部署结果。

    推荐理由:提出通过敏感性分析审计世界模型对反事实动作后果的预测保真度,为硬件部署前的评估提供新框架。

  10. arXiv · 机器人与计算机视觉65

    基于动作仿射世界模型的快速推理时策略精炼

    针对模仿策略执行误差累积导致失败的问题,本文提出动作仿射世界模型(A²WM),利用预训练策略的标称行为,离线从扰动轨迹中学习局部动作敏感性。该模型直接预测完整规划时域内的任务几何变化,结合二次惩罚与线性约束构建凸二次规划问题,仅需一次模型评估和一次求解即可完成在线修正,且冻结策略与模型权重。

  11. arXiv · 机器人与计算机视觉75

    从单张 RGB 图像到人形机器人执行:度量场景对齐与接触引导重定向

    针对人形交互生成依赖预建 3D 资产的限制,该方法提出统一流程,直接从单张 RGB 图像重建场景几何并生成人类交互参考。通过引入度量场景对齐和接触引导重定向两个阶段,在保持几何一致性的同时修正了因人与机器人本体差异导致的支撑误差。完整流程在仿真中成功率达 89%,在宇树 G1 物理实验中于 50 次尝试中成功 70 次,且无需针对特定场景微调策略即可被多个预训练跟踪器执行。

  12. Hugging Face Daily Papers74

    PhysLoop:利用 LLM 的物理感知实现视频生成模型的自我改进

    PhysLoop 是一个统一框架,旨在通过大语言模型(LLM)的物理知识来改善视频生成模型的物理动态和因果一致性。该框架在视频生成、选择和修正过程中指导并约束 LLM,将其物理知识蒸馏到物理一致的视频中,支持可控训练数据构建和推理时的视频修复。

  13. Hugging Face Daily Papers72

    WorldDraft:若代码构建世界,视频模型能否仅负责渲染?

    论文提出 WorldDraft 基准,包含 432 个严格配对的测试用例,覆盖 48 个可执行 4D 世界家族及六类动态挑战。评估显示世界保持与视觉实现存在操作张力,丰富草稿虽锚定结构却损害外观保真度,冲突源线索导致高达 64% 的源泄漏。为此提出 WorldDraft-Primer 插件式视觉提示策略,在冻结视频渲染器上同时提升两项目标,为连接程序化 4D 仿真与视频生成奠定基础。

  14. Hugging Face Daily Papers83

    Actor, Judge, or Teacher? 理解长视界智能体中的决策模型

    论文研究了决策模型在长视界智能体中作为行动者、裁判者和教师的三种角色。实验发现,即使模型在执行任务时表现不佳,只要能在回合结束后准确评估动作后果,就能有效区分有用与无效的动作。作为教师,JEV 模型利用这种能力将 Qwen2.5-1.5B 策略在 ALFWorld 和 WebShop 上的成功率分别提升至 82.9% 和 71.4%。代码已开源。

    推荐理由:研究对比显示,即使作为执行者表现不佳的决策模型,在评估动作后果或指导强化学习时仍能有效提升策略成功率。

  15. 盖世汽车 · 汽车资讯15

    大众中国发布 VEGA 体系与 HS8 智驾方案,依托 GAIA 2.0 世界模型实现 L3 交付规划

    大众中国在技术日上推出覆盖整车平台、电子电气架构及 ADAS 的 VEGA 能力体系,并首发全场景 L2++级 Hyper Sense 8(HS8)解决方案。其合资公司酷睿程利用自研 GAIA 2.0 世界模型开展仿真测试,每日等效里程达 500 万公里且有效数据利用率提升 10 倍。基于此技术积累,大众中国计划于 2027 年下半年开始交付 L3 级自动驾驶能力。

11月12日周四
  1. The Robot Report82

    Runway 发布 Praxis-1 世界动作模型用于具身智能

    Runway AI Inc. 昨日发布了其世界动作模型 Praxis-1,该模型现以 Apache 2.0 开源权重形式向开发者开放,支持商业使用。Praxis-1 是一个拥有 27B 参数的混合专家扩散 Transformer,旨在预测视频与动作,基于 Runway 的视频基础模型构建,强调先理解物理世界再学习行动。

    推荐理由:Runway 发布 Praxis-1 世界动作模型,提供 Apache 2.0 权重与推理代码,支持多形态机器人及 NVIDIA 硬件部署。

  2. 盖世汽车 · 汽车资讯57

    具身智能分岔口:本体补脑,脑公司找出口

    元戎启行 CEO 周光提出“几年后全无人驾驶可能不是自动驾驶公司”的判断,文章据此分析具身智能领域本体公司与“脑公司”的博弈。目前宇树、智元、优必选等本体厂商均在自研或适配模型以掌握真机数据回流;而 Physical Intelligence、Skild AI 等纯脑公司面临上游通用模型挤压与下游本体自研的双重压力,需证明跨本体迁移能力并找到收费入口。真正的分水岭在于谁能掌握真实世界的数据复利。

  3. 智东西 · 机器人84

    CoRL 2026 放榜:伯克利 SuperMimic 获最佳论文,英伟达斯坦福 RoboTTT 获最佳学生奖

    机器人学习顶会 CoRL 2026 公布获奖名单,加州大学伯克利分校的 SuperMimic 研究获得最佳论文奖,该方法基于可微世界模型将人形机器人全身控制训练算力降低超千倍,单卡 3 小时即超过百卡基线并已在宇树 G1 真机验证。英伟达与斯坦福联合团队的 RoboTTT 获最佳学生论文奖,其通过测试时训练将策略上下文扩展至 8000 个时间步,在多项灵巧装配任务中平均完成率提升至 79%。

    推荐理由:CoRL 2026 最佳论文展示可微世界模型将人形机器人训练算力降低千倍,最佳学生奖提出长上下文策略方法。

  4. 上海人工智能实验室 · 科研动态41

    上海 AI 实验室书生·端砚平台签约东方美谷,以干湿闭环科学智能赋能美妆研发降本增效

    上海 AI 实验室与奉贤区携手推出国内领先科学智能基座“书生·端砚”,聚焦美丽健康产业挖掘线索、生成候选及预测配方三大能力。该平台打通干实验与湿实验形成自迭代闭环,内置可信溯源机制,将助力入驻企业如自然堂、尚美压缩研发周期并降低试错成本。

  5. Hugging Face Daily Papers56

    LLM 智能体工作负载的批处理延迟优化:基于推理与环境协同的方法

    该研究针对大模型智能体任务交替进行推理与环境交互的特点,提出了协调优化方案以减少批处理总耗时(makespan)。方法包括利用工作负载资源模型指导 GPU 显存分配、轨迹感知调度以复用缓存、以及在环境容量受限时将样本准入与执行解耦并引入链推进动作调度。

  6. Hugging Face Daily Papers36

    Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents:提出 EGE 框架治理自主智能体更新

    针对自主智能体候选修改可能隐藏性能退化问题,研究提出 Evidence-Governed Evolution (EGE) 框架,将生成与确认采纳分离。该框架通过冻结候选体的新鲜配对审计、要求预定义目标显著改进及参考相对非劣性测试来保护声明能力。蒙特卡洛压力测试仅作为统计实验演示校准效果,未验证部署智能体安全或任意分布偏移下的鲁棒性。

11月11日周三
  1. 智东西 · 机器人68

    大晓机器人发布双脑协同架构并披露酒店洗衣真机实验数据

    大晓机器人首次将双脑协同架构带入真实酒店,完成从取衣到送回客房的连续服务。方案依托Mundo世界模型构建具备物理属性的数字场景进行训练,利用Astra探索技能并将有效操作固化为Skill以提升执行效率,引入RSI策略通过递归自我改进优化动作。真机实验显示烘干机内牛仔裤残留比例从平均48%降至32%,最好一次为19%。

  2. 上海人工智能实验室 · 科研动态80

    上海 AI 实验室推出元认知智能体框架书生·太一

    上海 AI 实验室发布元认知智能体框架书生·太一(Sage·Taiyi),旨在解决科学探索中缺乏持续反馈闭环的问题。该框架通过科学搜索与认知调控协同,将科研猜想、路径与实证串联,驱动智能体在方案生成时动态迭代认知。

    推荐理由:上海 AI 实验室推出元认知智能体框架书生·太一,在跨学科科学构思评测中八项指标领先,并已在有机化学、材料设计等领域支撑真实科研闭环。

  3. Hugging Face Daily Papers74

    WM-PPO:通过评估未来状态提升世界模型下的动作学习能力

    针对稀疏终端奖励导致信息缺失的问题,本文提出 WM-PPO 方法,利用训练于真实交互的世界模型预测动作后的观测,由价值网络对预测后继状态进行估值以指导策略优化。该方法在无需教师信号或特权信息的情况下,仅在推理阶段使用策略网络,在 ALFWorld 和 ScienceWorld 基准上将成功率分别从 63.5% 提升至 87.5%,从 39.3% 提升至 52.9%。

  4. arXiv · 机器人与计算机视觉53

    Einstein World Models:一种将视觉时序推演嵌入大语言模型推理轨迹的世界模型蓝图

    该论文提出 Einstein World Models(EWMs),这是一种基于大语言模型的推理系统蓝图,旨在通过引入视觉时序推演来增强复杂思考能力。在 EWM 架构中,LLM 调用世界模块生成场景的短时序推演结果,这些结果不作为直接答案,而是作为可检查的反事实假设以支持后续推理过程。该工作将工具调用能力扩展至视觉思维实验领域,探讨可视化反事实事件是否能作为语言之外的复杂思考机制。

  5. arXiv · 机器人与计算机视觉33

    CD-RCM:反射共焦显微镜的通用连续深度新视角合成方法

    CD-RCM 是首个针对反射共焦显微镜(RCM)的新型视角合成(NVS)方法,通过插值稀疏采集的 Z 堆栈实现各向同性三维可视化。该前馈模型在无需患者优化前提下,支持任意方向切片及类组织病理学横截面检查,推理耗时低于秒级。实验表明该方法能生成高保真新视角图像,解决了传统神经渲染无法处理 RCM 轴向成像几何与遮挡物理的问题。

  6. arXiv · 机器人与计算机视觉68

    Video-Mirai:自回归视频扩散模型需要前瞻性

    论文提出 Video-Mirai 方法,旨在解决因果视频生成中因仅依赖过去信息导致的表示层规划缺口。该方法在训练阶段引入冻结的前瞻性编码器读取完整 rollout 结果,将未来帧作为监督目标蒸馏至当前状态,而推理时丢弃辅助模块以保持原有架构不变。实验显示,该方法在 VBench 总分上从 83.8 提升至 84.6,并在长序列生成中显著改善了主体与背景的一致性。

  7. arXiv · 机器人与计算机视觉82

    SSR:迈向开放世界的稳健与人称对称人形机器人穿越框架

    论文提出 SSR 框架,旨在解决人形机器人在非结构化地形上的安全高效移动难题。该方法通过自监督学习结合想象落脚点引导,预测摆动脚接触点并评估支撑稳定性以减少滑倒;同时利用等变潜在空间对称性增强实现高维视觉下的双侧协调,并结合特定地形的多判别器运动先验鼓励类人行为。实验表明 SSR 在楼梯、宽缝隙和高台等极端挑战下均能实现安全稳定的长时程穿越。

    推荐理由:提出端到端框架 SSR,利用想象落脚点引导与对称性增强实现人形机器人在复杂地形的稳定行走。

  8. arXiv · 机器人与计算机视觉72

    AnyMo:面向野外场景的几何感知人体运动建模方法

    该论文提出 AnyMo 框架,旨在解决可穿戴惯性测量单元(IMU)因佩戴位置、朝向及硬件差异导致的数据迁移难题。该方法利用基于物理原理的 IMU 仿真生成密集的人体表面放置数据以预训练图编码器,并将多位置 IMU 信号 token 化为全身运动表示,进而与大语言模型对齐以实现运动理解。

  9. arXiv · 机器人与计算机视觉78

    MAPLE:基于潜在空间的端到端自动驾驶多智能体博弈框架

    论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。

    推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。

  10. arXiv · 机器人与计算机视觉82

    Generative Scenario Rollouts for End-to-End Autonomous Driving

    论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。

    推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。