跳到正文
10月9日周五
  1. Hugging Face Daily Papers76

    RSI-Anything:基于世界模型的递归自我改进通用框架

    论文介绍了 RSI-Anything,这是一个构建于 JEPA-Anything 之上的通用框架,利用预测世界模型指导行动与学习数据选择。在代码修复任务中,固定编码器的情况下,通过预测选择和世界模型适配将成功率从静态验证器的 26.3% 提升至 31.2%;GUI 评估显示任务完成率更高且平均动作减少 39.4%;实验室规划分数在五轮策略迭代后翻倍。

    推荐理由:该框架利用预测世界模型指导行动与数据选择,在代码修复、GUI 操作及实验室规划等跨领域任务中显著提升了成功率并减少了平均动作数。

  2. Hugging Face Daily Papers74

    MIMESIS:一种用于交互式智能体训练的用户模拟器学习框架

    针对交互式语言智能体训练中收集真人反馈成本高、现有助手模型过于顺从的问题,该研究提出了 MIMESIS 专用用户模拟器。该 9B 参数模型基于人类对话数据并引入显式推理监督与 13 种真实行为模式训练,在 SOUL-Index 等指标上超越最强前沿模型。

10月8日周四
  1. 智东西 · 机器人45

    北京 Physical AI Infra 平台公司厘清智能完成数亿元融资

    北京 Physical AI Infra 平台公司厘清智能宣布完成天使轮及天使 + 轮数亿元融资,蚂蚁集团连续两轮加码并领投。资金将用于物理世界数据管线、模型研发与训练、物理仿真、能力评测及跨本体适配部署系统。该公司已推出 T1 系列数采手套(含 T1 Lite、T1、T1 Pro)和 EgoDepth 设备,致力于构建 Physical AI 时代的智能基础设施。

  2. 盖世汽车 · 汽车资讯52

    Physical AI Infra 平台公司厘清智能完成数亿元融资

    Physical AI Infra 平台公司厘清智能近日完成数亿元天使轮及天使+轮融资,其中蚂蚁集团连续两轮加码并领投天使+轮。该公司由前英伟达科学家李一鸣创立,致力于建设连接模型智能与物理世界的基础设施平台,涵盖数据采集、模型训练、物理仿真及部署等环节。目前公司已推出 T1 系列数采手套和 Ego 数采设备用于记录真实任务信息,融资将加速其技术研发与产品落地。

  3. arXiv · 机器人与计算机视觉72

    Adapting Generalist Vehicle Models for High-Speed MPC Across Terrains

    论文提出 OptCar(Optimized Car)配方,旨在桥接从通用到专用的前向运动学动力学预测基础模型,以保留跨地形泛化能力并优化特定车辆性能。该方法采用 Transformer FKD 架构,利用 FiLM 条件化多步预测,并通过环境特定的系统辨识结合有限真实数据进行专业化微调。

  4. arXiv · 机器人与计算机视觉75

    针对世界模型的机器人学习流水线投毒研究

    该论文演示了世界模型作为机器人学习供应链中独特的数据投毒入口,能够以隐蔽方式导致部署不安全或受损的机器人策略。与传统直接植入危险轨迹不同,该方法向遥操作数据集注入恶意提示词或破坏状态转移动力学,仅在通过世界模型处理后激活,从而生成危险的合成训练轨迹。

  5. arXiv · 机器人与计算机视觉78

    Auto-Regressive Models Need Structural Registers: Semantic Foresight Improves Coherent Driving Video Continuation

    该论文针对自动驾驶视频延续中面临的自回归过程‘生成退化’挑战,提出了 STRIDE(STructural RegIsters for Decoupled Extrapolation)大视觉模型架构。

    推荐理由:提出 STRIDE 架构,通过语义前瞻机制缓解自回归生成中的结构退化问题。

  6. arXiv · 机器人与计算机视觉82

    RoboJEPA:基于联合嵌入预测架构的多具身机器人潜在世界模型扩展研究

    论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。

    推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。

  7. arXiv · 机器人与计算机视觉48

    可时间解释的可微决策树提升序列决策透明度

    针对现有可微决策树在时序规划上的局限,研究引入时间维度并通过动作分块与参数高效重构算法优化策略。实验显示,从蒸馏后的动作分块策略热启动的模型,在四个仿真环境中匹配神经网络策略性能的同时,参数量减少高达 80%。代码已公开于 GitHub,为具身智能的可解释性提供新路径。

  8. arXiv · 机器人与计算机视觉38

    GAGR-Lab:评估联合空间几何与分析函数推理能力的框架

    GAGR-Lab 是一个通过笛卡尔游戏场景和权威 Rust 轨迹执行来测量机器人空间感知与函数构建能力的研究框架。该框架在 Llama 3.2 11B Vision Instruct 模型上试点显示无目标命中,但独立分析搜索控制在 600 个方向案例中全部成功且可重复验证。目前仅报告了部分评估结果,完整的难度矩阵与多模型对比数据尚未测试。

  9. arXiv · 机器人与计算机视觉73

    DSReg:无需重建即可证明性恢复个体世界潜变量

    arXiv 预印本论文提出 DSReg(Dependency-Sparsity Regularization)方法,旨在解决现有无锚点方法仅能识别线性变换混合状态的问题。该方法在结构多样性条件下,无需重建、解码器或标签,即可从联合嵌入预测架构中恢复个体世界潜变量。研究证明其是首个完全可识别的 JEPA 模型,且该条件弱于先前的所有结构性假设。

  10. arXiv · 机器人与计算机视觉54

    Kuration SDK:通过数据策展解决虚拟到现实的差距

    针对动作条件化世界模型的基准指标存在局限且无法反映真实可玩性的问题,本文提出在训练前通过策展原始游戏数据并测量多种诊断属性来弥合虚拟与现实差距。作者开源了 Kuration SDK 工具包,该工具曾在特定案例中揭示出即使 LPIPS 和 FVD 分数相似的两个世界模型行为却大相径庭的根本原因,具备加速开发高效样本训练数据集的潜力。

  11. arXiv · 机器人与计算机视觉35

    LeCuration:作为数据策展多工具的小型世界模型预印本发布

    LeCuration 是一个基于 LeWorldModel 潜变量编码器与扩散 Transformer 解码器构建的小型世界模型,旨在为物理 AI 应用组织、筛选和策展数据。该研究在 CS:GO 游戏数据上进行了定性概念验证,利用其嵌入进行异常检测和内容聚类以检查动作状态一致性,但未报告定量指标或下游训练结果。

  12. arXiv · 机器人与计算机视觉38

    NeRFifyMesh:从纹理网格生成地面真值点辐射场以加速机器人场景构建与碰撞仿真

    NeRFifyMesh 提出新流程,通过采样网格几何与纹理人工生成地面真值点辐射场,无需相机采样或多视图渲染即可将现有网格转为 NeRF。基准测试显示该方法渲染质量与基线相当,并支持构建统一 NeRF 场景及提取几何进行碰撞仿真。论文已接受至 IROS2026,代码与数据许可状态待注册。

  13. arXiv · 机器人与计算机视觉58

    STRIKE:学习视觉状态迁移以构建物理世界模型

    论文提出了 STRIKE 框架,旨在通过预测交互如何改变场景来构建物理世界模型,而非仅生成连贯运动。该方法将视觉状态迁移学习与稠密视频生成解耦,利用事件对齐的监督信号训练基于图像的迁移模型,并结合预训练的视觉语言规划器与动态模型进行推理。

  14. arXiv · 机器人与计算机视觉35

    评估从 2D 到 3D 仿真中协同进化通信机制的迁移效果

    该研究考察了双智能体在离散 2D 模拟器与含真实物理的 3D 模拟器间,协同进化通信机制的功能保留情况。结果显示成功率随时间预算线性增长,社会线索主要作为干扰辅助而非导航引导,且处理顺序控制排除了物理引擎伪影。论文为预印本状态,探讨了影响迁移后性能差距的因素。

  15. arXiv · 机器人与计算机视觉73

    RoboRender:面向机器人的视频生成与视觉仿真到现实迁移

    为了解决仿真策略迁移至现实世界时因视觉差异导致的失败问题,研究团队提出了 RoboRender 框架。该框架利用深度图、语言指令和机器人 RGB 掩码视频作为条件,训练出能生成逼真 RGB 视频的模型,同时保留几何结构与动作标签。在抓取与移动操作等真实任务中,基于该数据训练的零样本策略平均成功率为 71%,相比原始渲染提升约 7.1 倍,相比传统域随机化提升约 3.6 倍。

  16. arXiv · 机器人与计算机视觉72

    SPW-Nav:一种支持语言引导的全景世界模型

    arXiv 预印本介绍 SPW-Nav,这是一种支持语言引导的实时全景视频流生成模型。该模型能理解移动指令并实时从单张全景图生成一分钟的 2K 360 度视频,通过球面旋转解耦和姿态对齐条件化等技术提升跟随精度与画质,并构建了包含相机轨迹与验证指令的 SPW-NavSet 数据集。

  17. arXiv · 机器人与计算机视觉48

    基于因子图与场景图的机器人世界模型综述:面向动态环境的架构模式与挑战

    该综述系统评估了针对动态环境、结合因子图与场景图的机器人世界模型,涵盖表示方法、构建更新流程及下游任务应用。文章重点分析了混合建模架构如何处理不确定性传播、最小感知下的运动可观测性及终身维护等开放挑战,并指出当前缺乏能验证动态下世界模型质量的基准数据集与评估协议。

  18. Hugging Face Daily Papers53

    We Query, Therefore We Compute:关于机器之外预言机计算的理论与应用

    该论文提出一种将大语言模型(LLM)视为预言机的抽象计算架构,通过扩展两栈下推自动机来统一工作流与智能体两种范式。作者设计了名为 ArchNights 的扩展 RISC-V 指令集架构及类 Linux 操作系统原型,该系统在 gem5 仿真器上运行,旨在将智能体系统设计为标准的计算机系统。材料仅提供了理论构建、仿真实现计划及开源意向,未包含真实硬件部署或实测性能数据。

10月7日周三
  1. Hugging Face Daily Papers82

    DAEDALUS:从自生成任务启动代理记忆的方法

    针对大语言模型代理缺乏环境操作知识且易重复犯错的问题,该研究提出 DAEDALUS 方法,通过配对探索者与求解者代理,在无先验知识和验证器情况下自生成可解任务并提炼启发式规则存入记忆库。实验显示该方法在 AppWorld、τ²-bench 和 AutomationBench 等基准上相比无记忆基线平均成功率提升最高达 15.9 个百分点,且推理成本低于多数训练任务方法。研究代码与工件已开源。

    推荐理由:该方法通过自生成任务构建无需先验知识的代理记忆,在多个基准上显著提升了成功率并降低了推理成本。

  2. Hugging Face Daily Papers78

    NeMo-DCR:面向万亿参数规模智能体强化学习的位精确差分压缩重拟合方法

    论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。

    推荐理由:提出 NeMo-DCR 方案,通过位精确差分压缩将万亿参数模型跨集群重拟合时间从 87.5 分钟降至 150 秒。

  3. arXiv · 机器人与计算机视觉54

    A Geometric Decision Procedure for STL Feasibility and Repair

    该论文针对信号时序逻辑控制合成中因执行器限制或任务期限导致的物理不可行性问题,提出一种几何决策程序。该方法将显式时序逻辑约束转化为时间零点的连续空间向后可达集,通过解析求逆 Bhat-Bernstein 定积分映射时间窗口至连续空间边界,从而将可行性检查简化为局部矩阵与向量包含性评估。

  4. arXiv · 机器人与计算机视觉84

    PointZero:一种用于学习可迁移 3D 动力学的 3D 点轨迹补全方法

    PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。

    推荐理由:该论文提出无需机器人动作标签的预训练目标,在仿真与真实操作任务上均优于基线。

  5. arXiv · 机器人与计算机视觉82

    Sensitivity Shaping for Latent Modeling:一种提升生成动力学模型 OOD 检测能力的研究

    该论文针对现有生成动力学模型将学习到的动力学视为固定、依赖事后代理进行分布外(OOD)检测而忽略控制不敏感导致信号抑制的问题,提出支持条件控制敏感性正则化方法。

    推荐理由:针对生成动力学模型对控制不敏感导致的 OOD 检测失效问题,提出支持条件控制敏感性正则化方法,在视觉避障与真实机器人导航实验中提升了异常检测能力。

  6. arXiv · 机器人与计算机视觉80

    Learning Visual Feature-Based World Models via Residual Latent Action

    该论文提出了一种名为 RLA-WM 的视觉特征世界模型,利用从 DINO 残差中学习的残差潜在动作(RLA)表示来预测未来状态,相比直接回归更清晰且不易幻觉。该方法在仿真和真实数据集上优于最先进的视频扩散模型,速度提升数个数量级。

    推荐理由:提出基于残差潜在动作的世界模型,在仿真与真实数据集上优于现有方法,并展示了提升策略学习的两项机器人技术。

  7. arXiv · 机器人与计算机视觉35

    WorldSonus:为物理 AI 世界模型引入实时空间音频合成

    WorldSonus 是一个面向世界模型的交互式视频转音频框架,通过流式因果自回归扩散架构实现 0.41 的实时因子。该框架利用基于分块的提示调度支持动态声音控制,并借助立体声监督确保声学质量与空间配准。实验显示其在开放域基准测试中表现优异,匹配或超越当前双向模型状态。

  8. arXiv · 机器人与计算机视觉39

    Federated Bayesian Surveillance of Mechanical Thrombectomy Adverse Events:手术数字孪生的群体风险层

    研究将群体规模不良事件监测作为手术数字孪生的独立信念层,提出在形式隐私保证下学习该层的联邦贝叶斯协议。基于 FDA MAUDE 血栓清除导管(代码 NRY)的 8,617 份报告基准测试显示,在匹配隐私预算 (ε≈2.09) 下,共轭协议每例测试事件的留样泊松评分为 -5.78,优于差分隐私 FedAvg (-26.58)。

  9. arXiv · 机器人与计算机视觉84

    CtrlCache:一种加速交互式视频世界模型的控制感知缓存方法

    该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。

    推荐理由:提出无需训练的 CtrlCache 框架,通过控制感知调度与频率混合先验指导,在保持交互响应度的同时显著降低视频世界模型的推理成本。