跳到正文
10月23日周五
  1. arXiv · 机器人与计算机视觉83

    ShadowBench:诊断 VLMs 的阴影推理缺陷及从图像生成模型借用缺失先验

    论文介绍了 ShadowBench 基准,该基准基于真实照片构建正确、无阴影和错误方向三种状态,用于评估视觉语言模型(VLMs)对阴影方向的读取、缺失阴影推断及物理一致性判断能力。

    推荐理由:该研究揭示了 VLMs 在阴影推理上的短板,并证明利用图像生成模型作为先验可显著提升其物理一致性判断能力。

  2. arXiv · 机器人与计算机视觉85

    Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling (arXiv:2610.30724)

    论文提出 VANE 框架,利用冻结语义分词器提供的固定嵌入空间进行下一帧预测,通过因果编码器总结过去观测以推断整个下一帧的表示,并辅以轻量生成解码器重建细粒度细节。

    推荐理由:该工作提出基于嵌入空间的下一帧预测框架 VANE,在统一图像与视频建模及动作预期任务上取得 SOTA 效果。

  3. arXiv · 机器人与计算机视觉78

    PhyEvolve:面向物理感知的视频生成的多智能体状态演化规划方法

    针对现有文生视频模型难以理解用户提示中隐含的物理演化问题,本文提出 PhyEvolve 框架。该框架包含导演、物理演化和作曲三个智能体,通过结构化状态演化规划将自然语言提示转化为具有因果联系的状态转换序列。

    推荐理由:提出多智能体框架通过结构化状态演化规划增强提示词,在不重新训练现有生成模型的情况下提升视频生成的物理一致性与状态连续性。

  4. arXiv · 机器人与计算机视觉78

    AgentDreamer:面向文本可控物理仿真的代理式三维运动推理

    论文提出了 AgentDreamer,这是一个由智能体引导的优化框架,旨在通过显式的三维运动规划将文本指令与仿真运动对齐。给定文本指令和场景几何,现成的智能体将其转化为结构化语义运动先验(指定移动对象、方向及时间顺序),并用参数化函数表示以生成密集三维轨迹。

    推荐理由:提出 AgentDreamer 框架,利用智能体生成语义运动先验并优化可微 MPM 模拟器以对齐文本指令与物理可行运动。

  5. arXiv · 机器人与计算机视觉78

    OASIS:面向动态环境开放词汇检索与导航的在线锚点中心场景推理系统

    针对现有机器人建图方法在语义上下文与计算成本间的权衡难题,论文提出 OASIS 统一系统,利用稀疏锚点节点整合多模态表征以支持推理、验证与导航。系统在仿真和真实环境中演示了复杂开放词汇检索、动态环境导航以及在场景变化后对位移物体的重定位能力。材料为预印本,已获 ACM Multimedia 2026 口头报告录用。

    推荐理由:提出基于锚点的在线推理系统,在仿真与真实环境中验证了动态场景下的开放词汇检索、导航及物体重定位能力。

  6. Hugging Face Daily Papers84

    SkeLAM:一种用于机器人世界模型的骨架引导潜在动作模型

    论文提出了 SkeLAM 模型,旨在解决传统重建驱动方法中机器人运动与环境响应混杂的问题。该方法将潜在动作分解为由机器人骨架监督的刚体运动分量和保留互补视觉动态的残差分量,并通过跨模态交换重构确保两者可互换。

    推荐理由:提出基于骨架引导的潜在动作模型 SkeLAM,通过解耦运动与视觉动态提升机器人世界模型的生成可控性与零样本迁移能力。

  7. NVIDIA Blog · Physical AI82

    NVIDIA Cosmos 开放新工具以训练、评估和部署世界模型

    NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。

    推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。

  8. Hugging Face Daily Papers63

    通过视频阅读、书写、共享与交互世界:视频世界模型综述

    这篇论文提出将视频观察视为潜在时间世界的部分投影,并围绕阅读(推断属性)、书写(合成生成)、共享(统一机制)和交互(预测更新状态)四个操作组织文献。文章回顾了从片段级识别向持久状态、可控演化及物理因果有效性的转变,总结了数据集与基准现状,并提炼了开放挑战。材料为 102 页的预印本综述,未报告真实机器人部署结果或具体性能指标。

  9. Hugging Face Daily Papers58

    HoloBoxing:一种仅需单卡七分钟训练的类人机器人拳击方案

    HoloBoxing 提出了一种利用预训练全身控制器学习类人机器人拳击的简单配方。该方法将可复用的运动技能与任务决策分离,由紧凑规划器请求目标点,冻结控制器处理关节执行,并通过模仿初始化与强化学习结合优化交互行为。实验表明,在复用表示拟合和单卡任务运行的基础上,仅需约七分钟额外训练即可实现模拟拳击实验中的行为评估,无需重新学习全身控制。

  10. Hugging Face Daily Papers82

    RynnUnify:迈向统一的具身大脑

    Hugging Face Daily Papers 转述了一篇 arXiv 论文,介绍 RynnUnify 这一 16B 参数规模的统一具身模型。该模型结合视频语言推理实现长视界视觉规划与物理预测,并通过强化学习扩展智能体能力以推断未观测状态,同时开发世界 - 动作扩展将理解转化为机器人控制。

    推荐理由:该预印本介绍了 RynnUnify 统一具身模型,展示了其在视觉规划、物理预测及机器人控制上的实验结果与基准。

  11. Hugging Face Daily Papers82

    WorldCast:具备世界一致性的角色视频生成与大角度相机控制

    针对现有方法难以跟随结合旋转、平移和半径变化的大角度相机轨迹并导致几何失真的问题,该工作提出 WorldCast 框架与 CLACT 基准。WorldCast 通过将初始帧反投影至三维点云并与目标轨迹对齐来提供显式几何引导,同时利用 Geometry-Aligned Memory Attention 机制在统一坐标系下检索注入角色特征以维持身份一致性。

    推荐理由:该工作提出 WorldCast 框架与 CLACT 基准,解决大角度相机运动下的角色几何一致性问题。

10月22日周四
  1. Google DeepMind27

    Google DeepMind 发布 Forest Typology (ForTy) 2020 全球森林分类图

    Google DeepMind 联合 WRI 与 IIASA 发布 ForTy 2020,以 10 米分辨率将全球土地细分为原生林、人工林等六类并追踪 2017-2025 年变化。该模型基于 AlphaEarth Foundations embeddings,在验证集上对森林类型识别准确率达 90%,非森林识别达 95%。此图支持欧盟反毁林法规合规,提供概率分数供用户调整分类精度。

  2. arXiv · 机器人与计算机视觉72

    面向机器人颈部超声的目标平面引导的动作条件化世界模型

    该论文提出一种动作条件化世界模型框架,旨在解决机器人超声检查中导航解剖标志和目标成像平面的难题。针对高质量演示采集困难且显式仿真器构建不易的问题,作者采用两阶段基于模型的训练流程:首先利用潜在条件扩散世界模型预测未来超声观测值;其次使用目标条件时序 Transformer 预测有序探针动作,并利用冻结的世界模型奖励进行微调。

  3. arXiv · 机器人与计算机视觉74

    SafeDojo:基于交互式世界模型的视觉语言动作模型安全强化学习

    SafeDojo 是一种基于模型的安全强化学习框架,利用交互式视频世界模型进行在线强化学习。系统使用 ResNet 成功分类器评分预测帧,并通过轻量级安全头从潜在上下文和动作块中预测接触概率,结合拉格朗日约束的 GRPO 平衡任务执行与轨迹安全性。

  4. arXiv · 机器人与计算机视觉78

    μ_0:一种可扩展的 3D 交互痕迹世界模型

    论文提出了 μ_0,这是一种基于 3D 轨迹的可扩展世界模型,旨在通过预测物体、工具及接触区域的平滑 3D 轨迹来替代像素重建或直接动作建模,从而实现无需具身特定标签的机器人学习。

    推荐理由:该工作提出基于 3D 轨迹的世界模型,无需动作标签即可实现跨机器人泛化,预训练版本已接受 CoRL 2026。

  5. arXiv · 机器人与计算机视觉78

    反馈式世界模型实现扩散策略的精准引导

    针对世界模型在分布外状态预测不可靠的问题,本文提出一种推理时的反馈机制,利用执行后的真实观测在线校正预测偏差。该方法引入动作感知引导以优化控制翻译,并在 LIBERO-Plus、Robomimic 及实物操作任务中显著提升了策略性能,将预测误差降低最高达 76.4%。实验证明该机制可即插即用,能改进预训练基础模型 Fast-WAM-Joint 的预测效果而无需更新其参数。

    推荐理由:提出推理时反馈机制,无需额外训练即可修正预测误差并提升策略性能。

  6. arXiv · 机器人与计算机视觉72

    WARPED:基于人类演示的机器人策略学习中的腕部对齐渲染框架

    论文提出 WARPED 框架,旨在利用仅单目 RGB 数据训练视觉运动策略,解决现有方法依赖多视角或深度传感器的限制。系统通过视觉基础模型初始化场景,追踪手与物体交互并重新定位轨迹至机械臂末端执行器,最后利用高斯泼溅技术合成逼真的腕部视角观测以直接训练策略。实验显示,该框架在五项刚性桌面任务和一项连杆物体任务中,成功率与遥操作相当,且数据收集时间减少 4-9 倍。

  7. arXiv · 机器人与计算机视觉65

    HEHA:面向受限路由的有界次优规划及其在异构多机器人未知环境探索中的应用

    该论文提出 HEHA(分层异构代理探索)框架,解决无人机、轮式及足式等异构机器人在复杂地形下的未知环境探索问题。核心贡献是全局规划算法 RCH,能在遍历性约束下快速求解大规模受限多重哈密顿路径问题,将最大路径长度(makespan)降低 47%,整体探索时间缩短 30%;局部规划器亦考虑异质性以避免重复探索。材料为 arXiv 预印本,未提及同行评审状态或真实部署结果。

  8. arXiv · 机器人与计算机视觉78

    物理参数偏移下的因果世界模型

    针对世界模型在物理条件超出训练分布时精度下降的问题,本文研究了输入选择与计算机制两个因果建模组件。在合成基准中,冻结的依赖掩码将 OOD 均方根误差从 1.769 降至 0.697;在 CausalWorld 机器人连杆质量外推任务中,引入显式仿射系数的指端局部世界模型,使已知 PD 控制器下的关节 R2 中位数从 0.609 提升至 0.727。

    推荐理由:该工作通过显式参数化动力学偏置项,使因果世界模型在物理参数发生偏移时仍能保持预测精度。

  9. arXiv · 机器人与计算机视觉53

    强化学习在FPGA与集成电路平台的硬件加速与系统级优化:综述

    Hamza Kheddar 发布了一篇关于强化学习在 FPGA 和集成电路平台上进行硬件加速及系统优化的综述论文。文章梳理了超过100项相关研究,按 RL 家族、抽象层级、硬件实现策略及应用领域进行分类,重点分析了模型架构、实施方法、性能评估(资源利用率、延迟、吞吐量等)以及软硬件协同设计中的挑战与未来方向。

  10. arXiv · 机器人与计算机视觉74

    重新思考视频自编码器以构建交互式世界模型:CADRE 系列研究

    论文提出 CADRE,这是一个开放的因果扩散表示自编码器家族,旨在解决现有视频世界模型复用文本生成模型且无法针对代理等待时间进行压缩优化的问题。该系列通过冻结特征瓶颈和蒸馏解码器,在操作(manipulation)与导航(navigation)两个领域的四个环境中训练,探索了不同时空压缩策略对延迟 - 质量前沿的影响。

  11. arXiv · 机器人与计算机视觉82

    PhysiCalWorld:面向世界模型的上下文物理校准

    针对现有世界模型在观测中难以捕捉物体质量分布、关节阻尼等物理属性导致预测回归经验先验的问题,本文提出 PhysiCalWorld 方法。该方法通过端到端训练,将测试场景内的探索性交互片段编码为紧凑的物理描述符 token,无需微调或解析物理建模即可校准动作条件化的世界模型以适配实例特定动力学。

    推荐理由:提出无需微调的上下文物理校准方法,通过探索性交互片段生成紧凑描述符以修正世界模型的物理漂移。

  12. arXiv · 机器人与计算机视觉84

    CW-WAM:一种用于力敏感操作的结构化接触 - 力矩世界动作模型

    该论文提出 CW-WAM,这是一种联合预测视频、运动和接触力矩的世界动作模型。它采用混合运动 - 力控制灵感,包含统一交互模块和成对因果注意力机制,利用长固定长度力矩记忆保留过去交互信息。

    推荐理由:该工作提出 CW-WAM 模型,结合接触力矩预测与慢快控制架构,将方柱插入成功率从 25% 提升至 70%,为力敏感操作提供了新的参考。

  13. arXiv · 机器人与计算机视觉85

    Test-Time Motion Steering for Perceptive Humanoid Fall Recovery

    论文提出了 RISE 方法,旨在让人形机器人在跌倒后根据场景和任务需求灵活选择恢复姿势与路径。该方法通过学习恢复词汇表连接意图与动作,并利用视觉扩散规划器预测未来状态以引导运动生成。实验在仿真中展示了多样化的恢复策略、地形适应及无需重训练的测试时导向能力,并在宇树 G1 机器人上进行了实物演示。材料为预印本版本,仅包含摘要信息。

    推荐理由:该工作提出 RISE 方法,利用视觉扩散规划器在推理阶段引导人形机器人跌倒恢复策略,支持任务目标导向的多样化动作生成。

  14. arXiv · 机器人与计算机视觉47

    TARSphere:面向动态环境的具身智能全栈框架与评测基准发布

    TARSphere 是一个面向物理与社会约束的具身智能全栈框架,包含运行策略的物理仿真器、事件驱动状态机及冻结多模态大语言模型(MLLM)执行脑。该框架构建了涵盖 30 个室内场景共 360 集任务的 TARSphere-Bench 基准,评估了导航报告与取放交付任务在感知鲁棒性、人类协作等五方面的表现。实验显示通用 MLLM 可超越具身模型但难以处理任务更新与人机交互,且执行安全需独立评估。

  15. arXiv · 机器人与计算机视觉78

    RealMe:基于高分辨率视频扩散模型的沉浸式体素视频生成框架

    论文提出 RealMe 框架,利用高分辨率视频扩散模型将稀疏、低分辨率的采集资源增强为 2K 分辨率且具备 4D 一致性的视频。该方法通过构建辅助数据并引入布局感知的位置嵌入,结合因子化时空注意力机制处理多视角与时间动态,同时应用潜在频率损失以缩小生成视频与真实采集的数据差距。

    推荐理由:该工作提出基于高分辨率视频扩散模型的统一框架,解决稀疏低分辨率采集下的 4D 一致性问题。

  16. arXiv · 机器人与计算机视觉83

    CausalAlign:面向一致自运动的视频生成模型因果对齐方法

    针对扩散式视频生成模型在长序列中自运动(ego-motion)漂移导致几何不一致的问题,该研究提出 CausalAlign 框架。该方法利用线性探针诊断自运动表征的保留模式,并通过将特定层的表征与 3D 基础模型在 delta-token 空间对齐来增强自运动状态。

    推荐理由:该工作通过因果对齐框架修正扩散视频生成模型的自运动漂移,显著提升了几何一致性与具身任务成功率。

  17. arXiv · 机器人与计算机视觉35

    Expandable Modality Experts 提出医疗视觉语言学习新架构,在九类模态的 25 个基准测试中表现最优或并列第一

    该研究提出基于可扩展模态专家库的医疗视觉语言技术,利用 ViT-Large 骨干网络结合共享视觉计算与确定性路由的前馈专家。方法在七种模态、1940 万无配对图像行及 323 万图文对上预训练对齐,零样本分类平均平衡准确率达 0.674,线性探测为 0.856,双向检索召回率为 20.70%。该技术在不冻结原有路径的前提下实现了模块化学习与表示扩展,已提交至 ICLR 2027。

  18. arXiv · 机器人与计算机视觉74

    基于重建增强的 RGB 单目视频三维地双手灵巧性预训练框架 SpatialDex

    论文提出了 SpatialDex 框架,旨在从仅含 RGB 的人体视频中学习带有空间上下文的三维双手灵巧操作。该方法通过重建场景几何并估计手部运动,利用手尺寸先验在共享视频级尺度上进行对齐,并将重建的几何信息既作为策略输入也作为预测目标。

  19. arXiv · 机器人与计算机视觉72

    通过信噪比调优解锁流匹配模型的空间定位能力

    该研究针对生成模型难以利用视觉语言编码器中的坐标信息问题,提出通过调整训练过程中的信噪比分布来优化空间定位。实验表明,将训练重点转向高噪声阶段可将布局遵循度从25.9%提升至80.8%,接近潜在变分自编码器的重建上限。该方法无需修改架构即可在COCO数据集上将平均精度从1.0提升至57.3,且发现FLUX.1等模型采用的保守噪声调度不足以实现精确的布局控制。