ELEVATE:基于任务失败的四足机械臂控制器获取框架
论文提出 ELEVATE 框架,通过识别任务规划中的持续失败来自动获取缺失的全身控制能力。系统从单个预训练控制器出发,自主习得了墙支撑提升、受助操作和下降等七项仿真任务的控制策略,并在后续任务中复用这些控制器。
推荐理由:该框架利用任务失败自动获取缺失的全身控制能力,并在仿真与物理机器人上验证了跨任务迁移效果。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
425 条精选近 30 天 289 条共收录 1,722 条
论文提出 ELEVATE 框架,通过识别任务规划中的持续失败来自动获取缺失的全身控制能力。系统从单个预训练控制器出发,自主习得了墙支撑提升、受助操作和下降等七项仿真任务的控制策略,并在后续任务中复用这些控制器。
推荐理由:该框架利用任务失败自动获取缺失的全身控制能力,并在仿真与物理机器人上验证了跨任务迁移效果。
针对视觉强化学习中渲染与推理成本高昂的问题,本文提出了 Echo 方法,这是一种单阶段的离线强化学习框架。该方法利用基于状态的辅助策略进行逆蒸馏,收集无需渲染的低成本经验,并通过共享特权评论器直接改进视觉策略。
推荐理由:提出单阶段离线强化学习框架,利用逆蒸馏收集无渲染经验以加速视觉策略训练。
刚成立不久的物理超级智能(PSI)公司宣布,其自研AI科研系统Emmy在量子信息理论的5个开放问题上取得进展,其中3题为本世纪初收录的难题。论文、Lean形式化证明及验证代码已上传至GitHub供学人审查。该系统采用“生成 - 验证”分离架构,利用大模型拆解假设并通过Lean编译器进行严格数学逻辑筛查,旨在实现科学发现的规模化生产。
推荐理由:PSI公司宣布其自研AI科研系统Emmy在量子信息领域取得突破,并公开了Lean形式化证明与验证代码供审查。
Orbbec 与 ACE Robotics 签署采购协议并建立全面战略合作伙伴关系,覆盖 10,000 台机器人视觉产品及无感数据采集硬件。双方将聚焦机器人视觉与高质量现实世界数据收集,以支持具身智能的大规模部署及世界模型(如 Kairos 3.1)的持续演进。
推荐理由:双方达成战略合作,Orbbec 将向 ACE Robotics 供应深度相机及机器人无感数据采集硬件,以支持具身智能大规模数据收集与世界模型演进。
地瓜机器人大模型团队于10月27日开源世界模型仿真平台Uranus,发布技术报告、推理代码、SDK及两个版本模型权重,面向全球开放早期体验名额。
推荐理由:地瓜机器人开源Uranus仿真平台,提供因果架构与流式推理机制,支持多本体接入及分钟级连续推演。
智元今日发布 GO-3 Preview 具身基础模型,该模型支持从预训练、后训练到部署后的全生命周期学习,并在 RoboDojo、RoboTwin 和 RoboColiseum 三项主要具身智能基准测试中获得第一名。
推荐理由:智元发布 GO-3 Preview 预训练模型,在三大基准测试中位列第一,并开放全生命周期学习架构与仿真工具链。
智元发布具身Agent框架Genie Master,将Physical RSI(具身递归自进化)应用于真实便利店业务流。该框架通过EEP协议连接推理与执行,利用Harness RSI积累提示词经验、Policy RSI更新动作策略模型,使机器人在无人在环状态下自主分析失败原因、调整策略并沉淀长尾场景经验。智元计划于11月2日开展6台精灵G2机器人连续上岗的24小时直播考核。
推荐理由:智元发布Genie Master框架,在真实便利店场景验证Physical RSI机制,支持机器人自主诊断问题、调整策略并积累长尾经验。
针对长视野接触型操作中仅模仿成功样本监督不足的难题,该研究提出 RePO-VLA 框架,通过恢复感知初始化、进度感知语义价值函数及价值条件化微调等技术,将对抗性成功率从 20% 提升至平均 75%。材料介绍了 Failure-Recovery Benchmark (FRBench) 基准测试,并在仿真与真实世界双臂任务中验证了该方法的有效性。
推荐理由:RePO-VLA 框架通过区分成功、恢复与失败轨迹,利用价值条件化微调提升 VLA 模型的鲁棒性。
该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。
推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。
针对多指灵巧手的内手持物体姿态调整任务,本文提出了一种无需人类数据即可在仿真中训练的策略配方,涵盖多样化重置、生成抓握数据集及自适应摩擦课程。通过系统辨识,该策略可零样本迁移至真实 LEAP 机械手,仅需手腕深度相机或动作捕捉即可实现。
推荐理由:本文提出无需人类数据的灵巧手策略训练配方,并通过学习到的残差安全滤波器将物体掉落率降低 75%,同时保持高成功率。
本文介绍了一种针对四旋翼穿越移动窄缝任务的端到端视觉控制策略,该策略直接基于机载视觉和惯性测量输出推力与姿态指令。研究提出可微分移动间隙公式,将稀疏的穿越事件转化为密集的路径目标,无需教师、规划器或蒸馏即可从随机初始化训练。
推荐理由:提出可微分移动间隙公式,实现无需教师或规划的端到端视觉控制策略,在仿真与真实四旋翼上均验证了从随机初始化直接学习动态窄缝穿越的能力。
针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。
推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。
这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。
推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。
针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。
推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。
该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。
推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。
论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。
推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。
针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。
推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。
上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。
推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。
针对人机共适应难题,研究提出分阶段多智能体训练方法,在仿真中联合训练肌肉骨骼人体与双髋外骨骼策略。该策略无需用户特定重训即可转移至物理设备,在八名健康成人实验中,主动辅助使净代谢率较被动模式降低 19.7%,且跨速度与地形保持有效协助能力。
推荐理由:提出分阶段多智能体训练框架,在仿真中联合优化人体与外骨骼策略,实机验证显示主动辅助降低代谢率 19.7%。