跳到正文
11月18日周三
  1. Hugging Face Daily Papers83

    π^4:一种用于 4D 场景几何与运动的统一基础模型

    论文介绍 π^4 作为统一的 4D 场景感知基础模型,能从野外未校准的 RGB 输入(单图、无序集合或视频序列)恢复稠密几何、相机位姿和度量尺度,同时输出 2D/3D 点轨迹及移动物体掩码。系统耦合几何分支与几何条件化的运动分支,在共享骨干网络下约含 05B 参数,单次前向传播即可完成大规模场景的联合重建与跟踪。材料提供数据、训练配方及关键设计选择的实证研究,代码与模型已开源。

    推荐理由:该预印本提出统一模型以单张图像或视频序列恢复稠密几何与运动,参数量小于多数基线。

11月17日周二
  1. arXiv · 机器人与计算机视觉38

    TARGO and TARGO-Net:遮挡环境下目标驱动抓取基准与模型评测

    针对单目 RGB-D 视角下严重遮挡导致的 6-DoF 抓取精度下降问题,研究建立了首个遮挡环境目标驱动抓取数据集 TARGO。提出的基于 Transformer 的 TARGO-Net 模型通过引入目标补全模块与场景交叉注意力机制,在所有视觉遮挡等级下均实现了最鲁棒的抓取预测性能。此外,研究证实了目标补全、遮挡物数量及目标最小尺寸除视觉遮挡外也显著影响抓取成功率。

  2. arXiv · 机器人与计算机视觉74

    Video-as-Experience:通过音视频理解学习电脑操作

    现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。

  3. arXiv · 机器人与计算机视觉78

    AsymEEF:一种支持非对称末端执行器的双机械臂操作框架

    论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。

    推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。

  4. arXiv · 机器人与计算机视觉82

    ReactBench-AD:驾驶 VLA 和世界动作模型能否对路径中的突发危险做出反应?

    该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。

    推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。

  5. arXiv · 机器人与计算机视觉48

    RescueVLM:基于 SketchVLM 的开源免训练救援无人机视觉语言框架

    RescueVLM 是基于 SketchVLM 构建的开源、免训练且模型无关的救援工具,支持在本地部署并通过下拉菜单切换底层模型。该框架在德国消防队实地数据及实火演习中验证有效,单次自然语言查询即可将数百张图像浓缩为带 SVG 标注和 GPS 定位的关键帧短名单供指挥官审阅。

11月16日周一
  1. arXiv · 机器人与计算机视觉78

    VLAN:面向多主体的视觉语言可访问导航基准

    VLAN 是一个新的导航基准数据集,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,涵盖多样光照与环境条件。该基准针对足式与轮式智能体(含人形机器人与四足机器人)以及视觉或行动障碍人士提供特定主体的动作与可访问性特征,并将日常障碍物分类为可通过、绕行、高风险和阻挡四类。

    推荐理由:VLAN 基准提供千人场景与二十万轨迹数据,支持足式、轮式及残障用户等多主体导航评估。

11月13日周五
  1. arXiv · 机器人与计算机视觉59

    Iris-Z:单一生成模型超越专用几何模型的扩展性研究

    Iris-Z 是一个通用图像生成器,能在同一骨干网络中同时生成外观和几何信息、从照片估计深度以及将图像绘制到给定深度上。该研究验证了统一架构在单目几何任务上的可扩展性,表明其在不增加专用层的情况下,于既定深度基准上超越了最先进专用模型。作者开源了两个版本的模型供社区使用。

11月12日周四
11月11日周三
11月10日周二
  1. arXiv · 机器人与计算机视觉68

    RedPhys:面向物理世界模型与智能体的可扩展红队测试平台

    RedPhys 是一个针对物理世界模型(PhyModels)和智能体(PhyAgents)的可扩展红队测试平台,旨在发现具有物理基础的函数故障。该平台集成了12种红队方法、3种模型无关防御机制以及13个涵盖七个物理领域的模型,在黑色盒威胁模型下进行评估。

  2. arXiv · 机器人与计算机视觉82

    MineXplore:面向无 GPS 地下环境的强化学习探索开源基准

    论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。

    推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。

11月9日周一
  1. arXiv · 机器人与计算机视觉83

    Flex-RSI:前沿智能体在视觉与机器人任务中的递归自我改进基准

    Flex-RSI是一个针对视觉和机器人任务的智能体递归自我改进基准。该基准允许智能体在固定预算下利用反馈改进其解决方案及自身架构(包括提示词、工具和记忆)。评测涵盖感知、推理、机器人操作、3D重建等多个领域,发现当智能体构建自身解决方案时自我改进最有效,且编辑执行器本身对增益有显著贡献。

    推荐理由:Flex-RSI基准评测了智能体在视觉与机器人任务中的递归自我改进能力,发现编辑执行器本身对提升效果至关重要。

11月7日周六
  1. Hugging Face Daily Papers82

    WorldFoundry:迈向世界智能的统一基础设施技术报告

    该技术报告定义了具备持久状态和因果一致性的生成式世界模型框架,并推出 WorldFoundry 开源基础设施以支持视频、3D 及具身动作系统的可复现推理与评估。

    推荐理由:该报告提出统一基础设施以支持视频、3D及具身智能系统的可复现推理与评估,涵盖感知锚定、持久状态建模等核心要素。

11月6日周五
  1. arXiv · 机器人与计算机视觉44

    生成式 AI 时代重思科学插图:基于 371 张图评估与修订的视觉回顾研究

    该研究通过多模态法官对 371 张动机与框架图进行六维评估,其中 369 张经源约束修订后通过保真度检查。结果显示平均清晰度提升 0.428 分但美学连贯性下降 0.111 分,支持研究者主导设计、AI 辅助探索且作者保留责任的结论。相关图谱与评估记录已公开提供下载。

  2. arXiv · 机器人与计算机视觉78

    HITCH:教视觉语言模型通过全身 harness 操控人形机器人

    论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。

    推荐理由:提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。

  3. Hugging Face Daily Papers68

    Video-Coder:首个用于视频生成的代码驱动智能体

    Video-Coder 是首个训练代码驱动的视频生成智能体的尝试,能够自主编写和执行代码来构建动态 3D 场景以提供结构与运动信号。研究设计了专用数据管道和两个高质量数据集(Video-Coder-SFT-6k、Video-Coder-RL-2k),并开发了集成代码执行与 3D 渲染的统一交互环境 Video-Coder Harness。

  4. Hugging Face LeRobot · Releases38

    LeRobot v0.7.0 发布:重构安装训练与硬件层,支持 PyPI CUDA 13 及 Feetech/Dynamixel 驱动

    LeRobot 软件栈 v0.7.0 重构了安装、训练推理及硬件底层,移除 cu128 索引并升级 torch 至 PyPI CUDA 13 构建。新版本将环境配置重命名为*EnvConfig 格式,统一策略数据类型为单精度,并新增 FSDP2/HSDP 并行训练框架与 opt-in EMA 权重平滑功能。

11月4日周三
  1. arXiv · 机器人与计算机视觉78

    在无目标相机 -LiDAR 外参校正前进行审计的研究

    该预印本研究了在无目标条件下对相机-LiDAR 融合的外参变换进行校正后是否应被下游系统采纳的问题。研究在 Argoverse 2 合成漂移数据上评估了单帧与多帧对齐策略,发现单帧 Canny 对齐在轻度漂移下有害,而多帧对齐虽改善旋转但恶化平移且联合误差指标为负。

    推荐理由:该预印本通过日志分离协议评估了无目标外参校正的质量与递归风险,指出单帧对齐在轻度漂移下有害且联合误差指标为负,不支持将其作为可部署的校准门禁。

  2. Hugging Face Daily Papers83

    PrimeSim:基于大规模跨具身演示的通用世界模型模拟器发布

    论文 PrimeSim 提出了一种动作条件化的多视图世界模型模拟器,通过渐进式中期训练和后期训练解决动作跟随与多视图一致性难题。该模型在 30,110 小时、22 个平台的数据上预训练,支持刚性及可变形操作任务的长程仿真,并在多个基准测试中领先开源同类模型。作者发布了模型权重、推理代码及训练代码,但材料仅基于 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。

    推荐理由:原文给出了跨具身演示训练的世界模型架构与代码入口,相关团队可据此评估其仿真一致性与长程规划能力。

11月3日周二
11月2日周一
11月1日周日
  1. Hugging Face Daily Papers82

    Democratizing Robot-Use Agents: A Unified Harness with Open Models

    论文介绍 uni-robot-agent 框架,旨在通过开放权重模型降低机器人使用代理(RUA)的研究门槛。实验显示,无需特权输入时,Qwen3.8-Flash-Next 在 RoboDojo 基准上得分 31.39,超越 GPT-6 Astra-RoboProbe 的 28.97 分,并在 19 个真实世界任务中表现具有竞争力。

    推荐理由:该工作提出统一框架 uni-robot-agent,验证了开源模型在无特权输入下即可达到与闭源模型相当的零样本操作能力。

10月30日周五
  1. 量子位80

    清华联合无问芯穹、智元提出具身智能群体经验学习新范式

    清华大学联合无问芯穹、智元提出群体经验学习(CEL)新范式,让机器人通过借鉴同伴经验实现自主进化。在96台真实机器人集群中验证了该范式,五项任务成功率均超人类平均水平,且随规模扩大持续提升。系统层面构建了容错异步训练系统,算法层面提出失败引导的经验检索微调方法,打通了从单台能力提升到群体持续进化的产业化链路。

    推荐理由:清华联合无问芯穹、智元提出群体经验学习新范式,在96台机器人集群中验证了规模化落地路径。

10月29日周四
  1. Hugging Face Daily Papers84

    CaPtain:一种用于后训练代码策略机器人的流水线

    论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。

    推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。

10月27日周二
  1. arXiv · 机器人与计算机视觉80

    重新思考 AI 训练中的视频存储:打破跨帧依赖以实现高效随机访问

    论文指出现有视频存储范式针对顺序播放优化,导致 AI 训练随机采样时面临解码效率瓶颈。作者提出依赖感知稀疏解码与可选的离线解耦随机访问编码方案,通过重构解码调度与参考结构,将每个请求目标的重建限制在最多三个帧内,独立于 intra 周期。实验显示该方法在保持可比重建质量的同时,加载吞吐量是 LeRobot v3 的 1.45 倍,媒体负载减少 58.7%。

    推荐理由:针对大模型训练中视频随机采样导致的解码瓶颈,提出依赖感知稀疏解码与离线解耦编码方案,在保持画质的同时显著提升加载吞吐量并降低媒体负载。

10月26日周一
  1. arXiv · 机器人与计算机视觉82

    无 fp32 主副本的 VLA 全权重微调会静默抹除大部分更新

    研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。

    推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。

10月23日周五
  1. arXiv · 机器人与计算机视觉87

    SplatLab:面向 3DGS 研究的自主科学发现系统

    SplatLab 是一个针对 3D Gaussian Splatting 领域的自主研究系统,解决了现有系统在模板限制和可执行性上的不足。该系统能根据提示或论文链接复现基线、提出扩展方案并在 Mip-NeRF 360 等数据集上训练消融实验,同时将手稿中的每个数据点绑定到具体的日志运行记录。

    推荐理由:该系统实现了端到端的自主科研闭环,能复现基线、提出扩展并绑定实验数据生成手稿。

  2. Hugging Face Daily Papers78

    超越观看与搜索:面向视频中心深度研究报告的智能体基准测试

    针对现有基准未评估以视频为核心源头的深度研究问题,该工作提出 Video-Centered Deep Research Report Generation 任务,要求智能体根据视频和用户请求生成交互式报告并链接关键片段。

    推荐理由:该工作提出以视频为核心的深度研究报告生成任务,并开源 OmniDR-Bench 基准与评测体系,为多模态智能体评估提供新工具。

10月22日周四
  1. Hugging Face Daily Papers82

    AW-0:一种结合代码规划与世界动作预测的代理机器人框架

    论文介绍 AW-0 框架,通过统一架构联合建模代码、未来视频和机器人动作,利用代码专家生成可复用的技能程序以连接规划与执行。作者还提出了自动化策展流程来构建技能库。在 RoboTwin 2.0 及物理双手操作任务上的评估显示,该方法在任务性能、语言遵循、语义推理及鲁棒性方面均优于 VLA 和 WAM 基线。材料为预印本论文,未提及同行评审状态或具体开源代码仓库。

    推荐理由:该工作提出结合代码规划与视频预测的代理世界动作模型,在仿真及物理任务上优于基线。