跳到正文
11月19日周四
  1. Hugging Face Daily Papers54

    WorldRuler:支持可配置规则的交互式世界建模方法

    该论文提出 WorldRuler 框架,利用可执行三维规则图组织定义、依赖与对象状态,连接规则执行、视频生成与感知反馈闭环。研究解决了规则状态持久化及未见物体上的规则视觉实现挑战,引入属性状态替换与反事实重建训练以控制外观与运动变化。作者构建了包含规则生效先于物体可见等案例的 RuleVerse 数据集,实验证明该方法在保存加载间保持规则状态一致性及准确实现规则结果的有效性。

  2. arXiv · 机器人与计算机视觉68

    RiskWorld:面向自动驾驶的选择性轨迹规划的风险感知世界建模

    论文提出了 RiskWorld 框架,用于共享占用预测和选择性轨迹替换。该方法融合空间风险场与时序行为上下文,利用流引导演化传输占用特征并通过符号残差校正。在 nuScenes 数据集的相机特征与标注数据上评估显示,RiskWorld 在 3 秒长时域内实现了最低的碰撞率,平均 L2 误差仅次于当前最先进基线,单卡 NVIDIA RTX 4090 运行速率为 11.5 FPS。

  3. arXiv · 机器人与计算机视觉76

    Pose6DAug:面向机器人数据增强的物理合理多视角物体替换方法

    针对视觉语言动作(VLA)策略在面对分布外物体时表现不佳的问题,该方法提出一种无需采集新数据的失败驱动数据增强框架。其核心在于直接操作 3D 空间,利用显式网格和时序一致的 6D 姿态轨迹锚定目标物体进行替换,从而保证多视角渲染的几何一致性。实验显示,在新型物体上微调 VLA 模型可使成功率相对最先进基线提升 16.5%,同时在真实机器人上将基础策略的成功率翻倍。

    推荐理由:提出基于物理的物体替换框架,利用现有成功轨迹生成新演示以解决 VLA 模型在未知物体上的泛化问题。

  4. arXiv · 机器人与计算机视觉72

    FedS2R:自动驾驶合成到现实语义分割的一站式联邦域泛化框架

    FedS2R 是首个针对自动驾驶合成到现实(synthetic-to-real)语义分割的联邦域泛化框架,由 Tao Lian 等人提出。该框架包含两个核心组件:一是针对不稳定类别的不一致性驱动数据增强策略,二是结合特征融合的多客户端知识蒸馏方案以从多个客户端模型中提炼全局模型。

  5. arXiv · 机器人与计算机视觉42

    NereidVLA:通过海洋空间预训练提升水下导航成功率

    NereidVLA 是一个视觉语言动作模型,利用 Sea2Know 数据集在无配对机器人运动监督下学习海洋空间知识,并通过仿真水下动力学适配。在实验室水池测试中,该模型实现 78.75% 的成功率,显著优于未微调的 InternVLA-N1(47.50%)。研究证明海洋空间监督能有效支持下游动作学习与物理水下导航任务。

  6. arXiv · 机器人与计算机视觉49

    Does the Action Matter? 动作条件语义预测作为自动驾驶世界模型的探究

    研究对比了有无动作输入的语义预测器,发现执行动作在 Cityscapes 数据集最多提升中期 mIoU 2.5 个点,错误动作则降低高达 23.2 个点。特征级条件依赖度是输入级的 1.6 倍,且结果验证于合成环境及 Cityscapes、BDD100K 两个数据集与平台。代码已开源,论文被 WAM-AD Workshop 接受。

  7. arXiv · 机器人与计算机视觉36

    Planner-Controller Interaction for Ackermann Navigation:仿真与硬件基准评测

    该研究评估了三种几何控制器(Regulated Pure Pursuit、Stanley、Vector Pursuit)与两种全局规划器(Hybrid A*、NavFn)在 Quanser QCar 及 Gazebo 环境下的交互表现。实验显示控制器排名跨环境转移一致,但规划器对硬件角加速度和速度的影响无法被仿真准确预测。所有配置平均计算耗时低于 0.5 ms,结果强调了物理验证的重要性。

  8. arXiv · 机器人与计算机视觉78

    Homeward:无训练视角下的观测适配方法

    论文介绍了一种名为 Homeward 的训练免费、即插即用观测适配器,旨在解决视觉 - 语言 - 动作(VLA)策略在部署相机发生位移或更换后性能急剧下降的问题。

    推荐理由:针对冻结 VLA 策略在部署相机变动后性能骤降的问题,提出无需微调的观测适配器 Homeward,通过渲染已知运动学状态与估计未知场景深度来恢复训练视图。

  9. arXiv · 机器人与计算机视觉42

    Pixel2Perspective:多模态与多视角泛化基准评测

    Pixel2Perspective 提出面向具身智能的跨域泛化基准,涵盖空中与地面视角及红外等多传感器数据。该工作评估 CLIP 等基础模型在恶劣天气、仿真到现实场景下的开放词汇分割能力,并引入 MSRIQ 框架联合量化不确定性。项目页面与数据集已公开,旨在推动开放世界具身智能感知系统的鲁棒性研究。

  10. arXiv · 机器人与计算机视觉49

    EmergeFuse:面向开放词汇语义分割的红外可见光融合框架

    EmergeFuse 提出一种基于像素级的 RGB-IR 融合框架,通过类相关热线索选择与文本对比图像校正,解决红外信息干扰 RGB-语言对齐的问题。实验在三个基准上显示,该方法相比现有融合方法,未见类别 mIoU 提升最高达 4.755%,严格互补转换率提升 15.730%。该研究旨在增强恶劣光照下的视觉感知能力,同时保持可靠的 RGB 预测结果。

  11. arXiv · 机器人与计算机视觉42

    One Shot Any View:几何引导与视觉参考下的高保真视频重拍系统

    One Shot Any View 系统利用源视频和显式 3D 先验,生成沿用户指定相机轨迹的同场表演重拍视频。该系统通过训练推理一致性及几何锚定 RoPE 偏移解决长焦浅景深导致的退化问题,并支持可选角色与场景参考图补充外观。在客观与人机评估中,One Shot Any View 均优于现有重拍方法。

  12. arXiv · 机器人与计算机视觉67

    无需存储图像即可训练任意架构去噪模型的方法

    本文提出一种教师监督的训练方法,首次证明连续时间扩散和流模型可在不存储图像的情况下从随机初始化进行训练。该方法让学生回归教师在滚动噪声样本池上的速度,通过随机步数推进轨迹获得独立、稠密且近似连续的噪声水平。实验涵盖 12 个来自 6 个家族的教师模型及 6 个数据集,在 CIFAR-10 上表现优于同规模标准训练,且学生网络可比教师小 4 倍。代码已公开。

  13. arXiv · 机器人与计算机视觉75

    Ego2X:基于接触感知的从第一人称人类数据到任意机器人的迁移框架

    Embodied models depend on real interaction data, yet collecting it on physical robots is slow and labor-intensive. Recent ego-to-robot pipelines retarget first-person view human videos to robot data via transferring hand and arm motion. They judge fidelity mainly by visual appearance. However, trajectories often fail in terms of physics: fingers hover beside objects, and grippers close on empty space. We argue that how the object moves and the contacts that drive the motion count. Thus, we present Ego2X, an object-centric framework that converts monocular egocentric video into physically executable robot data across dexterous hands and parallel grippers. Ego2X centers on CORE (Contact-centric Object-interaction REpresentation), which records each contact on the object by its surface anchor, as well as relative force, grasp mode, and interaction state. Throughout the pipeline, CORE corrects hand-object drift via object-relative constraints, steers inverse kinematics toward contacts the robot must realize, and preserves held objects during arm erasure and robot compositing. On HOT3D, contact-driven correction reduces in-contact hand depth error by 33.7%, while on EgoDex, contact-driven retargeting realizes 62.9% of annotated contacts, surpassing the official HuRo pipeline (27.9%). In RoboTwin 2.0, post-training X-VLA on Ego2X episodes alone, without simulator demonstrations, raises task success rate from 40.5% zero-shot to 67.0% across 200 paired scenes. We will publicly release our conversion pipeline and CORE-annotated dataset for dexterous hands and parallel grippers.

  14. arXiv · 机器人与计算机视觉43

    FOCBS 算法解决含未分配机器人的多智能体路径规划,实验室测试使车队行程较停车基准减少 40.8%

    FOCBS 算法通过流冲突分支策略优化含未分配机器人的多智能体路径规划,在有限图实例上证明终止性与服务时间最小化。仿真与物理机器人实验验证了计划可执行性,实验室测试显示其相较停车协调基准将车队行程减少 40.8%。源代码及相关资源已公开提供下载。

  15. arXiv · 机器人与计算机视觉68

    MobileWeave:基于程序的移动 GUI 代理训练任务合成方法

    针对原生移动 GUI 代理需要大规模覆盖单功能与跨应用工作流轨迹的问题,现有合成管线生成自由文本导致隐式子目标依赖关系缺失。本文提出 MobileWeave,将每个任务合成为源自可控制仿真器应用实现的执行程序,抽象为带语义类型的有向能力图,通过显式的值与对象依赖组合原子程序为单/跨应用复合程序,并通过原生执行验证指令与完成检查。

  16. arXiv · 机器人与计算机视觉74

    ZERITH V2.5:从预测能力到策略可学性

    论文提出 ZERITH V2.5 视频动作模型(VAM),研究在固定演示和更新次数下,何种视频预测训练方式能改善后续动作学习。实验表明,适配多种噪声水平的监督比仅适配部署噪声水平更有效;权重迁移显示增益保留于视频生成模型中而非仅作为策略初始化;联合训练初期的损失与梯度测量证实目标域预测训练改善了起始状态。

  17. arXiv · 机器人与计算机视觉35

    Finetuning VLAs for Dexterous Manipulation:冻结 VLM 并全量训练动作专家是灵巧操作微调的最佳方案

    针对多指手遥操作数据稀缺难题,研究结合监督微调与扩散引导强化学习,在 LEAP 手及$\pi_{0.5}$上验证了冻结视觉语言模型、仅训练动作专家的策略效果最佳。实验表明监督微调成功率与后续强化学习成效相关性低,且低秩适应(LoRA)方法可塑性最差。该结论发表于 CoRL 2026 灵巧操作研讨会,建议摒弃以 SFT rollout 成功率为检查点选择指标的做法。

  18. arXiv · 机器人与计算机视觉73

    EyeDiT:基于解剖结构的多模态眼球生成与仿真

    针对现有合成眼球数据缺乏高质量 3D 解剖结构的问题,本文提出了 EyeDiT 模型。该模型利用光学相干断层扫描(OCT)、标注的解剖点云和近眼图像进行训练,实现了受光轴、瞳孔位置和半径及主体身份控制的眼球生成与新颖视角仿真。实验表明,其在单视角合成任务上的 PSNR 优于先前模型,且基于其合成数据训练的神经网络在仿真到现实的差距上显著缩小,结合真实数据时进一步提升了眼动追踪性能。

  19. arXiv · 机器人与计算机视觉83

    DOCK:基于机器人运动学的双流启发自监督物体中心表征

    论文指出潜在空间规划器依赖特征距离判断场景与目标的差距存在偏差。为此提出 DOCK 方法,利用机械臂关节角度的前向运动学作为无标注位移代理,结合视觉双流架构学习物体表征。该方法在仿真厨房场景中从近万条轨迹挖掘数据训练了物体、空间和动力学三个组件,规划成功率接近读取真值位置的 oracle,且具备跨布局与未见过物体的泛化能力。

    推荐理由:该工作提出 DOCK,利用机械臂运动学构建无标注位移代理,在仿真环境中实现接近真值定位的规划成本。

11月18日周三
  1. arXiv · 机器人与计算机视觉65

    Orchestra:通过解耦行动生成与进度评估实现长周期操作

    论文介绍 Orchestra 智能体框架,将多模态指令分解为有序子任务并跟踪完成状态,利用独立训练的进度评估器决定何时推进。在 RMBench-Compose 基准上平均成功长度为 7.35 个子任务,优于 HarnessVLA;在四个真实世界多步任务中相比基线提升 25%。代码与项目页面已公开。

  2. arXiv · 机器人与计算机视觉4

    DroneGround:利用合成数据与接地视觉语言模型实现无人机载荷开放词汇表征

    DroneGround 框架通过 Unreal Engine 5 和 Cosys-AirSim 生成合成数据集,结合 YOLO26s 检测器与 LoRA 微调的 PaliGemma 模型,将无人机载荷 F1 分数从 82.5% 提升至 96.3%,未见类别识别率达 80.4%。该方案有效缓解仿真到现实分布偏移问题,显著优于传统闭集检测方法。数据集与代码将在收到请求后发布。

  3. arXiv · 机器人与计算机视觉72

    Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations

    该论文提出一种完全基于合成数据的系统,用于训练通用的手物跟踪控制器,无需人类演示。核心贡献包括 HOG 高效数据生成器和 HOT 跟踪器,后者通过强化学习和交互模仿学习实现从仿真到物理的迁移。方法支持多种物体形状和手部形态,并能在不同仿真器间迁移。评估显示该系统能让灵巧手处理包含物体重排和敏捷内部转向的挑战性长序列任务,旨在解决灵巧操作的数据瓶颈问题。

  4. arXiv · 机器人与计算机视觉45

    WoRD:基于扩散模型的在线目标识别方法

    WoRD 利用学习到的轨迹先验,通过变分推断从部分观测中恢复智能体意图。该方法在机器人、行人及车辆仿真设置下均能保持多模态信念校准,克服了传统滤波器与分类器在模糊轨迹前缀上的失效问题。论文已被 NeurIPS 2026 接收,代码与权重开放许可状态待确认。

  5. arXiv · 机器人与计算机视觉48

    CodeReel:通过精确帧复用与阻塞感知调度加速代码生成视频智能体

    CodeReel 是一种无需训练的代理执行层,利用精确帧复用和阻塞感知调度将代码生成视频的等待时间较 Rebuild 基准降低 36.3%,较 Sequential 流程降低 57.9%。该方法在五个模型与两个框架上验证有效,使 Claude Code 和 Codex CLI 的构建中位等待时间分别降至原水平的 0.62 倍和 0.67 倍。

  6. arXiv · 机器人与计算机视觉45

    UnrealEvent:基于虚幻引擎 5.5 的事件相机合成数据集生成与标注工具

    UnrealEvent 是一款运行于 Unreal Engine 5.5 的合成数据集生成管线,通过 V2E 事件帧生成器与 EasySynth 语义渲染将场景序列转化为配对事件表示及 YOLO 格式标注。该工具在 eTraM 基准上评估显示 YOLOv8 检测器具备强域内性能但存在显著的仿真到现实差距,尤其是行人目标;微调少量真实数据可提升实域表现,凸显资产多样性与传感器校准的重要性。