跳到正文
11月16日周一
  1. arXiv · 机器人与计算机视觉30

    Foundation Model Driven Robotics:基于基础模型的机器人技术综述与未来路线图

    该综述系统梳理了大语言模型和视觉语言模型在感知、规划及人机交互领域的进展,将应用划分为仿真驱动、开放世界操作等四个方向。文章重点分析了程序化场景生成与策略泛化等关键趋势,同时指出了具身数据匮乏、安全风险及算力限制等核心瓶颈。最后提出了通过构建更鲁棒的可解释模型来弥合语义推理与物理智能差距的未来研究路线图。

  2. arXiv · 机器人与计算机视觉76

    在仿真中训练原生使用真实机器人的推理模型

    该论文提出一种方法,利用 Post-training Engine for Agentic Robotics (PEAR) 在仿真环境中对开源 27B 推理模型进行强化学习训练,使其能够原生控制真实机器人而无需演示。

    同一新闻,精选展示《MIT韩松团队新作:基于Qwen3.8的Robot-Use RL让机械臂临摹画作与做化学实验》

  3. arXiv · 机器人与计算机视觉84

    重型机械杂技:通过强化学习实现滑移装载机动态控制

    该论文展示了利用强化学习(RL)结合仿真到现实(sim-to-real)迁移技术,成功自动化了复杂液压驱动的重型机械——John Deere 332G 滑移装载机的极限动作。策略使机器能够自主完成两轮平衡、跨越崎岖地形、绘制指定轨迹及旋转等高难度杂技动作,此前这些操作仅由少数精英人类操作员在世界纪录级别的表演中实现。

    推荐理由:作者展示强化学习在仿真中训练的策略成功迁移至现实,实现了推土机在两轮平衡状态下跨越崎岖地形并自主完成高难度杂技动作。

  4. arXiv · 机器人与计算机视觉78

    Objectives as Policies:面向接触丰富操作的视觉语言模型成本程序框架

    该论文介绍 Objectives as Policies (OaP) 框架,连接预训练视觉语言模型与基于采样的模型预测控制器,利用可编辑的目标程序桥接语义推理与物理规划。系统通过真实到仿真的数字孪生生成初始程序,经 MPC 仿真迭代更新后部署至现实世界。作者在四个桌面操作任务上进行了仿真与现实评估,结果显示该框架优于强基线。

    推荐理由:提出将预训练视觉语言模型生成的目标程序作为 MPC 控制器输入,通过仿真到现实迭代实现接触丰富操作任务。

  5. arXiv · 机器人与计算机视觉78

    跨视图一致性在多视图外观增强中的重要性:一项针对视觉运动策略的受控研究

    Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。

    推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。

  6. arXiv · 机器人与计算机视觉78

    Ego2Flow:基于真实城市地图蒸馏的自动驾驶交通系统影响基准

    该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。

    推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。

  7. arXiv · 机器人与计算机视觉45

    EViDS:环境 - 车辆动力学集成仿真平台助力智能底盘开发

    EViDS 是首个将 CARLA 环境感知与 CarSim 高保真动力学集成的仿真平台,通过射线铸造轮胎路面交互及参考姿态对齐技术维持时空一致性。该平台支持在线闭环智能底盘控制,在动力学特性保持与环境信息可靠传递的测试中表现优异,为环境感知型智能底盘开发提供统一验证基础。

  8. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。

11月13日周五
  1. arXiv · 机器人与计算机视觉3

    CARNIVAL 模型利用冷冻电镜前向模型的特权视图提升蛋白质注释性能

    CARNIVAL 模型通过整合冷冻电镜前向模型生成的特权视图与标签,在受限倾斜角及严重噪声的模拟数据上实现了域特定增强。该模型在未微调状态下于真实断层扫描数据集上的分类与检测任务中,优于仅使用对比目标训练的现有最先进模型。研究结果已接受至 NeurIPS 2026 Sim2Science 研讨会,代码与论文将在 arXiv 发布。

  2. arXiv · 机器人与计算机视觉58

    Addressable Memory for Video World Models

    该论文研究了交互式视频世界模型中的视觉持久性问题,发现当生成长度超出训练范围时,基于 KV Cache 的模型因位置编码偏移过大而难以检索信息。作者提出无需训练的 WorldTrace 框架,通过为压缩后的记忆槽分配独特的虚拟位置来保持可寻址性,并利用模型自身的注意力机制决定保留哪些观测或合并冗余内容。

  3. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。

  4. arXiv · 机器人与计算机视觉18

    Open-Set Supervised 3D Anomaly Detection:工业缺陷检测新框架与数据集发布

    Hanzhe Liang 提出 Open3D-AD 方法,利用少量已知异常样本训练模型以识别未知工业缺陷。该方法基于包含 15 类、每类 5 种真实异常的 Open-Industry 数据集构建基准,在 Real3D-AD 和 Anomaly-ShapeNet 上验证了有效性。论文已撤回且未提供许可证,代码与权重暂未开放。

  5. arXiv · 机器人与计算机视觉82

    AnyCamVLA:一种无需微调即可实现视点鲁棒的视觉语言动作模型相机自适应方法

    针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。

    推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。

  6. arXiv · 机器人与计算机视觉68

    Agentic Aerial Cinematography:从对话线索到电影级轨迹的自主空中摄影框架

    论文提出了 Agentic Aerial Cinematography (ACDC) 框架,旨在弥合智能体在数字环境中的推理能力与物理世界任务执行之间的差距。该框架通过执行器将智能体对电影意图和视觉判断的解释锚定在场景几何与飞行约束上:给定自然语言请求和三维场景表示,智能体选择相关视角并通过视觉反馈进行优化,随后利用优化与运动规划生成可执行的无人机航迹。

  7. arXiv · 机器人与计算机视觉68

    面向非线性时间最优模型预测控制的集成化数据高效实时神经模仿架构

    针对非线性时间最优模型预测控制计算成本高难以实时的问题,本文提出一种集成化架构以实现数据高效的实时神经模仿。核心贡献包括自信息采样策略、联合处理数据集相关性等挑战的完整训练与控制架构,以及在 Furuta 摆上的真实世界验证。

  8. arXiv · 机器人与计算机视觉48

    Scalable Inverse Model (SIM) 利用物理仿真解锁通用 MRI 重建缩放定律

    Scalable Inverse Model (SIM) 框架通过协同设计物理仿真训练数据与模型架构,在涵盖七个国际中心、五种厂商及 0.3-7 T 磁场的 14 个数据集上实现了鲁棒的零样本 MRI 重建。该方案在包含 150 次扫描的盲测放射科研究中恢复了精细解剖细节并抑制了常规深度学习方法失效处的混叠伪影,且无需额外采集数据即可泛化至未见过的扫描仪与协议。

  9. arXiv · 机器人与计算机视觉58

    SkillEarth:通过技能演化让通用智能体在地球环境行动

    针对现有遥感智能体依赖预定义知识或参数更新的问题,本文提出 SkillEarth 方法,能够从演示轨迹中自动提取可复用的工具调用知识并实现观测驱动的演化。该方法结合双裁判反馈与基于观测的路由图进行组件级精细化,在 OpenEarth-Bench 和 Earth-Bench 上展现了优于现有方法的工具选择、参数正确性、执行顺序一致性和任务完成率,且支持跨大模型复用而无需重新训练。

  10. arXiv · 机器人与计算机视觉85

    UAV-Flow++:统一的语言引导无人机飞行评测与学习套件

    针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。

    推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。

  11. arXiv · 机器人与计算机视觉78

    ACE-CaP-0:经验时代的现实世界代码策略

    ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。

    推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。

  12. arXiv · 机器人与计算机视觉78

    EgoX:基于身体 Dreaming 的以自我为中心跨具身操作学习

    论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。

    推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。

  13. arXiv · 机器人与计算机视觉48

    VOKE:用于灵巧手内物体运动学估计的视觉框架

    VOKE 是一个运动学感知感知框架,通过可插拔模块预测物体的线角速度加速度并优化位姿估计。在 DexYCB 和 OakInk 数据集上,该方法显著降低了速度与加速度误差,优于基于位姿差分的方法。下游应用利用增强策略在无微调情况下成功从仿真迁移至物理机器人,验证了感知到控制的完整路径。

  14. arXiv · 机器人与计算机视觉85

    BlinkMimic:基于世界模型与 Muon 更新的快速人形运动跟踪训练方法

    针对传统全身运动跟踪策略训练耗时长的痛点,本文提出 BlinkMimic 配方,结合从并行仿真学习的世界模型回传梯度、Muon 更新机制以及残差策略等技术。

    推荐理由:作者提出 BlinkMimic 配方,在单卡 RTX 4090 上仅需 3.4 分钟即可训练出能复现 40 个动作片段的人形机器人全身运动跟踪策略。

  15. arXiv · 机器人与计算机视觉78

    ManiLadder:基于分类与多级难度的机器人操作基准测试

    ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。

    推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。

  16. arXiv · 机器人与计算机视觉78

    Hand in Silhouette:基于二值掩码的仿真到现实多视角手部重建

    论文介绍 Hand in Silhouette (SilHand) 框架,利用低成本获取的二值手部掩码替代 RGB 特征进行 3D 重建,以缩小合成数据与真实数据的观察差距。该方法在包含 4.68 万个抓取姿态和 6 万个自由手势的大规模合成数据集上训练,并在五个现实基准测试中将相对重建精度从 49.2% 提升至 63.4%,且对掩码噪声具有鲁棒性。

    推荐理由:该工作提出基于二值掩码的仿真到现实手重建框架,通过掩码射线证据融合缩小外观差距,在五个基准测试中相对精度提升显著。

  17. arXiv · 机器人与计算机视觉73

    基于混合地形建模的防塌陷撤退记忆高效并行策略学习

    针对灾害现场机器人接触导致未检查地形塌陷的问题,论文提出一种记忆高效的并行策略学习框架。该方法通过混合地形建模结合非塌陷区域的刚体仿真与可塌陷区域的虚拟接触力,在共享刚性物体可塌陷地形上实现间接干扰下的独立状态 - 动作经验采集。

  18. arXiv · 机器人与计算机视觉73

    Alloy:面向机器人学习的多材质物理引擎

    Alloy 是一个开源物理引擎,旨在解决机器人训练中刚体与非刚体(如布料、液体、颗粒)难以在同一场景模拟的问题。该引擎将不同材质的求解器耦合在单一场景中,支持在单 GPU 或 CPU 上并行运行多个世界实例,并引入健康度评分以区分物理失败与策略失败。

  19. arXiv · 机器人与计算机视觉68

    基于随机位置外置相机的机器人导航与避障研究

    该研究针对室内环境下利用固定外置相机进行机器人导航的问题,指出标准 PPO 算法因视角不匹配而失效。为此提出 Viewpoint-Invariant Navigation from Exocentric Cameras (VINE) 方法,通过监督学习构建障碍物地图估计网络,输入外置图像、相机位姿、机器人位姿及房间尺寸以生成观点不变障碍图。

  20. arXiv · 机器人与计算机视觉72

    BWM-Forge:面向具身智能的智能体世界编程技术报告

    BWM-Forge 是一个用于可控机器人视频生成的代码驱动框架。给定机器人资产和任务描述,该框架接受初始图像、含运动数据的图像或人类演示视频作为输入。一个编码智能体构建可编辑的 Blender 场景程序以指定物体、机器人运动和相机视角;生成的代理视频为视频生成模型提供结构和运动参考,后者负责添加视觉细节。

  21. arXiv · 机器人与计算机视觉73

    Where to Generate Touch: Do Image Latents Preserve Material Recognition?

    该论文研究了在图像潜在空间中生成触觉是否保留了材料识别信息。实验发现,基于 Stable Diffusion VAE 的重建结果能保持物体身份(匹配准确率 76.7%),优于离散分词器重建,且接近真实触觉数据。研究据此选择了 SD-VAE 潜空间进行光到触的生成器训练,代码将在论文接收后发布。

  22. arXiv · 机器人与计算机视觉78

    阅读桌面:面向 Chef's Hat 卡牌游戏的仿真到现实游戏状态检测

    针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。

    推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。

  23. arXiv · 机器人与计算机视觉42

    πhalf 如何提升动态操作反应性:执行策略研究

    该研究利用πhalf模型在两个动态仿真基准及三个真实机器人任务上,探究了使预训练视觉语言动作(VLA)模型对物体移动保持反应性的关键因素。实验表明最佳预测 horizon 约为 1 秒,且保持轨迹连续的方法优于仅降低延迟的策略,政策适应与执行流水线需共同评估以修复目标失败。