ESCAPE:面向碰撞避免与策略执行的自身体感感知框架
论文提出 ESCAPE 框架,利用分布式深度传感器聚合稀疏测量以构建结构化点云表示,结合基于流匹配的生成式策略,在包含超 10 万条安全关键轨迹的高质量数据集上进行联合优化训练。该框架完全在仿真中训练并实现零样本迁移至物理硬件,无需真实世界微调,在仿真与实机评估中均优于外部视角及体素化规划基线。
论文提出 ESCAPE 框架,利用分布式深度传感器聚合稀疏测量以构建结构化点云表示,结合基于流匹配的生成式策略,在包含超 10 万条安全关键轨迹的高质量数据集上进行联合优化训练。该框架完全在仿真中训练并实现零样本迁移至物理硬件,无需真实世界微调,在仿真与实机评估中均优于外部视角及体素化规划基线。
MoDex 是一个数据高效的统一框架,旨在解决多物体灵巧抓取中数据采集成本高、空间布局多变及泛化难的问题。该方法将任务建模为学习参考轨迹的残差修正单步决策问题,并引入空间自适应双策略:对近距物体执行单次抓取,对分离物体执行序列交互。
论文提出了 ScaleNav 统一的世界 - 动作框架,旨在解决端到端导航策略需要多样化数据且真实数据采集成本高、仿真存在差距的问题。该方法首先利用互联网第一人称视频进行指令条件视频预训练以学习观察随相机接近目标而演变的视觉动态;随后使用带标签的仿真数据进行动作对齐以预测可执行的动作片段;最后通过联合微调优化所有可训练组件。
2026 年 AI 赛道出现向生命系统转向的趋势,Biohub 联合多方投入 18 亿美元搭建虚拟生物学计划,国内计算医学也被纳入国家规划。文章分析指出,新药研发难点在于理解完整生命系统的动态演化,因此行业正从单点分子模型转向构建能预测干预后果的“生命世界模型”。
论文研究了数据量、多样性和模型容量如何影响具身智能体在不同视觉风格和物理动力学下的虚拟世界表现。实验覆盖 0.8B 至 27B 的四种模型规模及多种数据混合策略,结果显示更多数据提升同域性能,多样性有助于迁移到相关世界但远距离世界增益有限;存在早期界面阶段和后期世界阶段的转变规律,且模型在实时设置下表现最佳,但仍需更丰富的训练阶段以构建通用智能体。
Daimon Robotics 发布连接触觉传感、数据采集、仿真与 AI 模型的基础设施管线,而非开发单一基础模型。其 Umi 设备以 30 Hz 频率采集触觉反馈,并通过真实数据校准仿真环境中的摩擦力和接触力属性。
中国电信人工智能研究院与伽马智能联合推出NEXUS,这是一个面向人形机器人的跨地形感知运控基座模型。该模型将广泛的全身行为覆盖与环境感知相结合,让机器人在保留动作特征与意图的同时,根据所处地形自主调整身体姿态与接触。
推荐理由:中国电信与伽马智能联合提出NEXUS基座,通过仿真生成跨地形配对数据并采用两阶段训练,实现人形机器人在保留动作意图下自主适应复杂地形。
论文介绍 WorldOracle 基准,专门用于评估动作条件世界模型(ACWMs)在相同初始观测和低层动作序列下对真实世界执行的预测能力。该基准涵盖物理后果和任务状态转换的复现情况,并从物理状态正确性、交互空间对齐、关键交互区域保真度及多视角动作一致性四个维度进行评测。
论文提出了 OpenDexGrasp 框架,旨在解决机器人需从自由形式语言推断功能意图并结合多视角视觉观测生成可执行高自由度抓取的挑战。该工作构建了包含 OpenDex-Scale(大规模语义与几何覆盖)和 OpenDex-Align(高质量具身对齐)的双源监督数据集,采用 Coverage-to-Alignment 配方进行训练。
该论文针对强化学习在足式运动控制中策略表征理解不足的问题,通过计算网络雅可比矩阵的有效秩,发现将条件变量设定为步态相位能揭示全局分析无法捕捉的表示结构。研究指出,引入残差连接和层归一化的架构相比普通 MLP 能在摆动主导状态分配更多有效秩维度。基于此提出的诊断建议可在仿真及物理 Spot 机器人上降低高达 2 倍的关节抖动,证明策略容量在步态周期内的分布与仿真实验到现实部署的迁移效果密切相关。
论文介绍 ADEPT 框架,旨在通过大规模强化学习在多自由度机器人本体上实现从原始视觉 - 触觉感知直接求解长视界任务的 sim-to-real 灵巧性迁移。该方法先在通用物体放置任务上预训练灵巧策略,再以后训练下游策略,解决了多指机器人难以从零发现新行为的问题。
推荐理由:论文提出 ADEPT 框架,通过预训练与后训练结合强化学习解决多指机器人灵巧操作难题,并开放了相关代码。
论文提出 Cyclops 框架,旨在解决 LiDAR 数据稀疏且缺乏语义纹理的问题。该方法首先通过冻结的预训练模块将稀疏 LiDAR 强度投影转换为稠密表示,随后利用潜在桥接匹配(LBM)和可微终端奖励优化的速度场,将稠密强度潜变量传输至目标 RGB 分布以生成彩色视频。
FELT 是一个利用现有成对视觉 - 触觉数据学习接触感知表征的框架,通过冻结视觉编码器和独立的查询解码器为下游策略提供生成的触觉图像或接触感知特征。在四项富接触的真实机器人任务实验中,直接融入学习到的接触感知特征使成功率提升 15-22.5 个百分点,证明了该方法无需真实触觉硬件即可提升操作性能。
推荐理由:该框架利用视觉数据生成触觉表征,在四项真实机器人任务中使成功率提升 15-22.5 个百分点。
针对预训练视觉语言动作模型难以兼顾长时序视觉历史与高效性的问题,该研究提出 NativeMEM 框架。其核心是 Native Memory Compression 方案,利用 VLA 自身的视觉编码器将多路摄像头的历史帧压缩为单个 token 并追加至输入序列,使模型能以极低延迟关注长期记忆而无需外部规划器或新初始化模块。
论文提出了 WireCraft 基准,旨在解决工业组装中柔性线性物体(如线缆)操作难、缺乏统一评估协议的问题。该基准包含连接器插入、夹子布线等三个任务家族,支持刚体与变形两种物理模型,并提供了来自仿真及真实 UR5 机器人的轨迹数据。
针对接触丰富任务的触觉仿真到现实策略迁移问题,本文提出 HydroShear,一种非完整流体弹性触觉模拟器。该方法利用符号距离函数追踪压头在传感器膜上的位移,生成基于物理的力场并建模粘滑转换、路径依赖的力与剪切积累以及完整的 SE(3) 物体 - 传感器交互。
本文介绍了 TRAIN 框架,旨在解决传统四足机器人导航中运动规划与步态控制分离、忽视全身约束及地形感知的问题。
该研究探索机器人仅通过关节位置、速度和自身动作(无视觉、力或触觉)完成精密装配的可行性。通过在仿真中对随机化的部件、抓持和接触进行强化学习训练,策略成功实现了销钉插入、齿轮啮合和螺母旋入,且能零样本迁移至真实世界,在 73% 的试验中成功插入不同形状和大小的销钉。
论文介绍 CoreDNA,这是一种无需代理模型训练或大量标注的无监督核心集估计方法。该方法通过池化视觉基础模型的神经元激活值,将每张图片的分布与数据集整体分布进行比较,从而同时捕捉低层视觉结构和高层语义信息。
推荐理由:提出 CoreDNA 无监督任务无关核心集选择方法,在感知与动作多任务上匹配或超越现有水平。
Ayush Deshmukh 等人提出了一种结合传感器对齐、触觉校准及新型域随机化的框架,在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转。物理实验完成单次连续 225 次(112.5 圈)180°旋转,速度约 0.36 转/秒,刷新了该任务的硬件基准并明确了触觉感知的关键区域贡献。
推荐理由:该研究在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转,验证了触觉校准与仿真域随机化对跨越 Sim-to-Real 鸿沟的有效性。
该论文提出 CoEvore 框架,将多机器人团队协作表示为固定运动技能的代码,利用多模态基础模型实例化协调策略并通过物理执行进行验证与修正。实验在 Unitree G1 人形机器人仿真环境中完成刚性负载运输任务,展示了跨骨干网络经验初始化下的协作能力,同时指出了运动精度与接触稳定性的局限。
该技术报告介绍了 LY-GWM-RoboCasa-Human300 策略,该策略结合了经 Human300 微调的 GR00T-N1.5 动作生成器、动作条件化的图动力学模型以及学习到的二元状态奖励评分器。
推荐理由:该报告提出结合人类动作微调与图动力学模型的预测引导策略,在 RoboCasa 基准上实现了优于历史基线的成功率提升。
针对从长视频序列重建高质量可渲染 3D 场景的任务,现有前馈方法在显存和存储成本上存在瓶颈。该工作提出 LonGaussian 流式框架,利用预训练骨干网络解码几何特征,并通过多帧点跟踪合并重复观测、深度一致性过滤抑制错误遮挡的高斯分布。实验表明该方法在 DL3DV 和 RealEstate10K 基准上提升了新视角渲染质量并显著减少了高斯数量。
该综述针对轨道操作和近距离作业,梳理了从感知到部署的自主空间机器人基础模型架构及验证方法。文章指出地面向太空动力学转移测试尚不足,并探讨了事件相机、脉冲神经网络及闭环重验证等关键技术路径。
本文提出一种无需额外训练的框架,将冻结的姿态估计器 VGGT 与重建骨干网络 TokenGS 结合,解决坐标系不一致与平移尺度失配问题。在包含 107 个场景的测试中,该方法在全视角及仅四张稀疏视图条件下均能达到接近 COLMAP 参考的质量(22.47 PSNR),实现了完全无需 COLMAP 的姿态自由重建流程。
推荐理由:该工作通过坐标系对齐与尺度修正,证明冻结的 VGGT 与 TokenGS 组合在稀疏视图下即可达到全视角质量,无需额外训练。
针对固定翼飞机进近着陆阶段对可靠定位及完整性(trustworthy outputs)的需求,本文提出 PASS 系统。该系统在统一时空框架下集成可配置机场环境、规定轨迹、惯性模拟、标定立体图像及连续跑道相对真值,支持可控传感器误差与环境变化以生成用于算法开发的测试数据。
推荐理由:该工作提出可控的进近仿真系统 PASS,支持 CAT III 完整性算法开发,并引入 SRST 指标量化仿真与现实的差距。
Christian Marowski 和 Byung-Cheol Min 在 arXiv 发布论文,研究了多机器人协作绘制任务的速度提升与任务结构及分配管道之间的关系。
FCTS 框架利用局部穿越失败自动生成地形课程,将四足机器人在中等难度地形的成功率从 28.4% 提升至 85.8%,在困难地形从 14.9% 提至 44.7%。该方法基于扫描的真实施工现场构建地形,经硬件实验证实策略可成功迁移到真实世界。目前论文处于审稿中,项目页含视频演示。
针对流式策略(如π0)难以跨不同机器人本体迁移的问题,本文提出一种轻量级本体分类器引导方法。该方法利用少量校准任务区分源本体与目标本体的成功动作片段,并在推理过程中通过梯度 nudging 调整去噪步骤方向,从而在不更新参数或额外演示的情况下适配新本体。
论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。
推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。
Mothership 提出一种两级自动驾驶垃圾收集系统,由电动压缩卡车搭载两台低速人行道机器人 RoboCarts 协同作业。仿真显示双车配置在每公顷 20-29 个垃圾桶密度下运行,三至四辆车需配合 80 米宽停靠点才能达到每小时处理 35-49 个垃圾桶的吞吐量。该系统通过分离卡车道路行驶与机器人人行道搬运职责,将对接公差放宽至标准自动举升器的正负 100 毫米捕获窗口。
论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。
推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。
IEEE Spectrum 发布“视频周五”精选,展示 JSK Lab 通过线缆连接两机器人使其融合、Microducks 经蓝牙同步即兴合唱等趣味演示。Google DeepMind 利用 Gemini 4 Argon 构建 MuJoCo 虚拟仿真,使 Apptronik Apollo 2 人形机器人在真实世界连续投中七次玉米洞球。
瑞士工程科技公司 Terra Quantum 与 Empa 联合开发了名为 LP-FNO(激光加工傅里叶神经算子)的人工智能模型,用于预测激光焊接中的三维熔池动态。据称该模型的预测速度比传统方法快达 10 万倍,消除了实现实时工艺控制及部署工业数字孪生技术的关键计算瓶颈。
针对仅依赖专家演示无法从真实部署中提升的问题,本文提出 LoopWAM,一种直接学习全质量谱(成功、次优与失败)的闭环世界 - 动作模型。该方法通过源相关噪声采样统一行为学习与条件动作的世界建模,利用质量引导和质量加权监督保留多质量视频监督并调节动作模仿。
针对通用视觉语言动作模型在迁移新场景时存在‘静默失败’的问题,本文提出 ValueFormer,这是一种基于冻结 DINOv3 主干的因果 Transformer(3.5M 参数),能在单次前向传播中输出平滑的优势估计价值和用于在线错误检测的尖锐二元价值。
论文提出 Play2Perfect 强化学习框架,主张机器人需先学会“玩”以获取抓取、手内重定向等通用操作先验,再微调至精密装配任务。系统研究表明该先验比从零开始的 RL 训练样本效率高 33 倍,实现了零样本仿真到现实迁移,在仅 0.5mm 接触间隙的紧密插入任务中达到 60% 成功率,并在长周期多部件装配与拧螺丝任务中超过 50% 的成功率。
论文提出 SADGE 指标,用于在不进行下游模型训练的情况下预测合成图像数据集在常见计算机视觉任务中的表现。研究指出仅凭外观或几何相似度无法可靠预测性能,二者需通过非线性交互共同作用。
推荐理由:提出 SADGE 指标,证明外观与几何相似度的非线性交互能预测合成数据在检测、分割等任务的下游性能。
PathPainter 是一个面向地面及近地面机器人的导航系统,利用鸟瞰图(BEV)作为全局先验,通过图像生成模型解析自然语言意图并生成可通行掩码,同时引入跨视角定位以消除里程计漂移。该系统在四足机器人平台上成功完成了 285 米的户外长距离自主导航任务,验证了基础模型的泛化能力向具身导航迁移的有效性。
针对腱驱动与软体肌肉致动系统因非线性、摩擦和迟滞导致难以进行仿真到现实策略迁移的问题,本文提出了一种名为 GenAN 的通用致动网络方法。该方法通过学习关节位置轨迹直接识别复杂的致动模型,无需扭矩传感器,并结合刚体动力学模拟环境交互。