跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉70

    PanDWM:一种基于全景带的 4D 驾驶世界模型方法

    论文 PanDWM 提出将六个针孔相机视图拼接为单一 360°全景带,使视角一致性转化为图像连续性约束。该方法采用因果学生网络分步生成全景窗口,并通过前馈解码器结合邻帧静态高斯构建 4D 场景。在 nuScenes 数据集上,PanDWM 在单视口评分下 FID 低于多相机基线,速度提升 8-46 倍,同时将 FVD 降低 22-25%。代码与网站链接已提供。

  2. arXiv · 机器人与计算机视觉71

    超越以车辆为中心的数据:通过路侧到车辆的生成扩展自动驾驶

    针对自动驾驶模型训练依赖车载传感器且采集成本高的问题,本文提出 AnyR2V 框架,将路边多模态观测转化为不同车辆视角的七摄像头环视视频。该框架聚合时序观测构建共享场景表征,渲染外观、深度和布局条件以匹配目标车辆轨迹,并利用时空对齐的路侧 - 车载数据对进行监督生成。

  3. arXiv · 机器人与计算机视觉48

    Sim-to-Real Room-Mediated Object-Goal Navigation with ROS 2 and Nav2 在波士顿动力 Spot 与 Clearpath TurtleBot 4 上的部署研究

    该研究将基于房间概率向量(RPV)的物体目标导航策略通过机器人无关的 ROS 2 桥接,部署于波士顿动力 Spot 和 Clearpath Robotics TurtleBot 4 平台。在包含 66 次试验的大学设施中,Spot 机器人搜索 11 类物体的原始成功率为 0.455,低于仿真环境的 0.539。分析指出未检测到的玻璃墙、进入禁区及房间词汇与物理布局不匹配是导致差距的主要原因。

  4. arXiv · 机器人与计算机视觉82

    迈向概率安全的强化学习:理论与人形及空中机器人部署

    本文扩展了鲁棒安全梯度流强化学习框架以解决标准方法无法保证安全约束且依赖无偏估计器的局限。新 formulation 支持包括碰撞规避在内的轨迹级约束,并允许使用有偏的价值和梯度估计器。

    推荐理由:本文扩展了鲁棒安全梯度流强化学习框架,允许有偏估计器并支持轨迹级约束,实现了 Unitree G1 人形机器人与 Crazyflie 无人机的零样本仿真到现实部署。

  5. arXiv · 机器人与计算机视觉72

    Ego2Sim2Humanoid:无需机器人演示的具身智能移动操作学习

    该研究提出 Ego2Sim2Humanoid 框架,利用第一人称眼镜记录的人类演示数据,通过代理式真实到仿真转换构建物理验证的训练轨迹。方法包含碰撞与纹理资产重建、未见表面补全及目标接触带预测;运动适应阶段将接触带转化为可行腕部姿态与手指闭合,规划无碰撞站立姿势并合成全身运动。

  6. arXiv · 机器人与计算机视觉72

    人形机器人通过支撑身体倾斜以触及远处物体

    该研究提出了一种利用环境支撑进行稳定化的全身模型预测控制方法,使 Unitree H1-2 人形机器人能够触及超出正常站立工作区约 50 厘米的远端物体。控制器在笔记本电脑上以 34 Hz 实时运行,成功将仿真策略转移至现实世界,并在负载下保持姿势超过四分钟。

  7. arXiv · 机器人与计算机视觉82

    TMA:通过触觉驱动电机适应实现仿真实到现实的强力人形机器人操作

    论文提出了 Tactile-Driven Motor Adaptation(TMA)方法,旨在解决具身智能在关节化环境中进行强力多指操作的挑战。该方法利用触觉反馈构建策略学习结构,以圆锥几何作为多指接触表示的归纳偏置,并基于触觉历史在线调整电机行为。

    推荐理由:提出触觉驱动的电机自适应方法,在仿真训练后零样本迁移至宇树 G1 机器人实现强力开门任务。

  8. arXiv · 机器人与计算机视觉74

    基于 VR 人类演示修正点云抓取策略中的持续性失败

    论文提出一种人机闭环方法,自动挖掘强化学习策略在点云抓取任务中持续失败的案例,将其送入虚拟环境由人类完成抓取操作并生成新数据回流训练。实验显示,该方法将未见物体上的成功率从 55% 提升至 83%,并将原本失败率高达 24% 的困难案例成功率提升至 45%,同时未降低对未见物体的性能表现。

  9. arXiv · 机器人与计算机视觉74

    CISyn:基于物理仿真的近身交互人体网格恢复合成数据集

    针对近身交互场景下缺乏大规模标注数据的难题,作者提出了 CISyn 数据集,利用物理仿真和 Blender 渲染生成了包含碰撞动力学、相互遮挡及姿态纠缠的 25,000 条序列。该工作还提出了一种不确定性感知损失函数,帮助模型更有效地学习重度遮挡样本。实验表明,结合 CISyn 并替换回归损失可显著提升近身交互基准上的表现。数据集、生成管线和代码已开源。

  10. arXiv · 机器人与计算机视觉83

    Frame First, Decode Once:面向系统一世界模型的物体中心坐标与单次解码方法

    论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。

    推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。

  11. arXiv · 机器人与计算机视觉82

    Whole-Slice Misses Escape Round-Trip Filtering and Volumetric Dice in a Source-Free Flow-Matching Segmenter

    Guobiao Wang 审计了一种无源流匹配分割器在 120 名未见训练数据上的表现,发现模型常漏检脾脏且现有质量门控(往返过滤和体积 Dice)无法识别此类错误。作者提出 Chain-and-Fill 方法在 119 名患者上满足所有预注册终点,其严重组增益与 SAM 2 传播不可区分,且仅 1/357 的患者种子对受损。

    推荐理由:原文审计了无源流匹配分割器在 CT 影像中的脾脏漏检问题,并验证了链式填充修复方法的有效性。

  12. 智东西 · 机器人82

    MIT韩松团队新作:基于Qwen3.8的Robot-Use RL让机械臂临摹画作与做化学实验

    MIT韩松团队提出Robot-Use RL方法并公布PEAR后训练引擎,基于Qwen3.8-27B在仿真环境中通过强化学习自主训练机器人操作能力。LIBERO基准测试中任务成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol水平;部署到真实双臂YAM机器人时,任务成功率达60%而基础模型为0%。

    推荐理由:MIT韩松团队提出Robot-Use RL方法,基于Qwen3.8在仿真中通过强化学习训练机器人操作能力,无需人工示范数据且具备零样本迁移至真实机器人的能力。

11月16日周一
  1. arXiv · 机器人与计算机视觉30

    Foundation Model Driven Robotics:基于基础模型的机器人技术综述与未来路线图

    该综述系统梳理了大语言模型和视觉语言模型在感知、规划及人机交互领域的进展,将应用划分为仿真驱动、开放世界操作等四个方向。文章重点分析了程序化场景生成与策略泛化等关键趋势,同时指出了具身数据匮乏、安全风险及算力限制等核心瓶颈。最后提出了通过构建更鲁棒的可解释模型来弥合语义推理与物理智能差距的未来研究路线图。

  2. arXiv · 机器人与计算机视觉76

    在仿真中训练原生使用真实机器人的推理模型

    该论文提出一种方法,利用 Post-training Engine for Agentic Robotics (PEAR) 在仿真环境中对开源 27B 推理模型进行强化学习训练,使其能够原生控制真实机器人而无需演示。

    同一新闻,精选展示《MIT韩松团队新作:基于Qwen3.8的Robot-Use RL让机械臂临摹画作与做化学实验》

  3. arXiv · 机器人与计算机视觉84

    重型机械杂技:通过强化学习实现滑移装载机动态控制

    该论文展示了利用强化学习(RL)结合仿真到现实(sim-to-real)迁移技术,成功自动化了复杂液压驱动的重型机械——John Deere 332G 滑移装载机的极限动作。策略使机器能够自主完成两轮平衡、跨越崎岖地形、绘制指定轨迹及旋转等高难度杂技动作,此前这些操作仅由少数精英人类操作员在世界纪录级别的表演中实现。

    推荐理由:作者展示强化学习在仿真中训练的策略成功迁移至现实,实现了推土机在两轮平衡状态下跨越崎岖地形并自主完成高难度杂技动作。

  4. arXiv · 机器人与计算机视觉78

    Objectives as Policies:面向接触丰富操作的视觉语言模型成本程序框架

    该论文介绍 Objectives as Policies (OaP) 框架,连接预训练视觉语言模型与基于采样的模型预测控制器,利用可编辑的目标程序桥接语义推理与物理规划。系统通过真实到仿真的数字孪生生成初始程序,经 MPC 仿真迭代更新后部署至现实世界。作者在四个桌面操作任务上进行了仿真与现实评估,结果显示该框架优于强基线。

    推荐理由:提出将预训练视觉语言模型生成的目标程序作为 MPC 控制器输入,通过仿真到现实迭代实现接触丰富操作任务。

  5. arXiv · 机器人与计算机视觉78

    跨视图一致性在多视图外观增强中的重要性:一项针对视觉运动策略的受控研究

    Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。

    推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。

  6. arXiv · 机器人与计算机视觉78

    Ego2Flow:基于真实城市地图蒸馏的自动驾驶交通系统影响基准

    该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。

    推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。

  7. arXiv · 机器人与计算机视觉45

    EViDS:环境 - 车辆动力学集成仿真平台助力智能底盘开发

    EViDS 是首个将 CARLA 环境感知与 CarSim 高保真动力学集成的仿真平台,通过射线铸造轮胎路面交互及参考姿态对齐技术维持时空一致性。该平台支持在线闭环智能底盘控制,在动力学特性保持与环境信息可靠传递的测试中表现优异,为环境感知型智能底盘开发提供统一验证基础。

  8. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。

11月13日周五
  1. arXiv · 机器人与计算机视觉3

    CARNIVAL 模型利用冷冻电镜前向模型的特权视图提升蛋白质注释性能

    CARNIVAL 模型通过整合冷冻电镜前向模型生成的特权视图与标签,在受限倾斜角及严重噪声的模拟数据上实现了域特定增强。该模型在未微调状态下于真实断层扫描数据集上的分类与检测任务中,优于仅使用对比目标训练的现有最先进模型。研究结果已接受至 NeurIPS 2026 Sim2Science 研讨会,代码与论文将在 arXiv 发布。

  2. arXiv · 机器人与计算机视觉58

    Addressable Memory for Video World Models

    该论文研究了交互式视频世界模型中的视觉持久性问题,发现当生成长度超出训练范围时,基于 KV Cache 的模型因位置编码偏移过大而难以检索信息。作者提出无需训练的 WorldTrace 框架,通过为压缩后的记忆槽分配独特的虚拟位置来保持可寻址性,并利用模型自身的注意力机制决定保留哪些观测或合并冗余内容。

  3. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。

  4. arXiv · 机器人与计算机视觉18

    Open-Set Supervised 3D Anomaly Detection:工业缺陷检测新框架与数据集发布

    Hanzhe Liang 提出 Open3D-AD 方法,利用少量已知异常样本训练模型以识别未知工业缺陷。该方法基于包含 15 类、每类 5 种真实异常的 Open-Industry 数据集构建基准,在 Real3D-AD 和 Anomaly-ShapeNet 上验证了有效性。论文已撤回且未提供许可证,代码与权重暂未开放。

  5. arXiv · 机器人与计算机视觉82

    AnyCamVLA:一种无需微调即可实现视点鲁棒的视觉语言动作模型相机自适应方法

    针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。

    推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。

  6. arXiv · 机器人与计算机视觉68

    Agentic Aerial Cinematography:从对话线索到电影级轨迹的自主空中摄影框架

    论文提出了 Agentic Aerial Cinematography (ACDC) 框架,旨在弥合智能体在数字环境中的推理能力与物理世界任务执行之间的差距。该框架通过执行器将智能体对电影意图和视觉判断的解释锚定在场景几何与飞行约束上:给定自然语言请求和三维场景表示,智能体选择相关视角并通过视觉反馈进行优化,随后利用优化与运动规划生成可执行的无人机航迹。

  7. arXiv · 机器人与计算机视觉68

    面向非线性时间最优模型预测控制的集成化数据高效实时神经模仿架构

    针对非线性时间最优模型预测控制计算成本高难以实时的问题,本文提出一种集成化架构以实现数据高效的实时神经模仿。核心贡献包括自信息采样策略、联合处理数据集相关性等挑战的完整训练与控制架构,以及在 Furuta 摆上的真实世界验证。

  8. arXiv · 机器人与计算机视觉48

    Scalable Inverse Model (SIM) 利用物理仿真解锁通用 MRI 重建缩放定律

    Scalable Inverse Model (SIM) 框架通过协同设计物理仿真训练数据与模型架构,在涵盖七个国际中心、五种厂商及 0.3-7 T 磁场的 14 个数据集上实现了鲁棒的零样本 MRI 重建。该方案在包含 150 次扫描的盲测放射科研究中恢复了精细解剖细节并抑制了常规深度学习方法失效处的混叠伪影,且无需额外采集数据即可泛化至未见过的扫描仪与协议。

  9. arXiv · 机器人与计算机视觉58

    SkillEarth:通过技能演化让通用智能体在地球环境行动

    针对现有遥感智能体依赖预定义知识或参数更新的问题,本文提出 SkillEarth 方法,能够从演示轨迹中自动提取可复用的工具调用知识并实现观测驱动的演化。该方法结合双裁判反馈与基于观测的路由图进行组件级精细化,在 OpenEarth-Bench 和 Earth-Bench 上展现了优于现有方法的工具选择、参数正确性、执行顺序一致性和任务完成率,且支持跨大模型复用而无需重新训练。

  10. arXiv · 机器人与计算机视觉85

    UAV-Flow++:统一的语言引导无人机飞行评测与学习套件

    针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。

    推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。