Know When to Escalate:基于评论引导的自适应执行用于云 - 本地具身智能体
针对具身智能体在长程规划与快速闭环决策间的矛盾,本文提出 CARE 框架,通过轻量级评论模型监控执行可靠性并动态触发向云端强模型的升级控制。该架构利用共享交接内存保持上下文,避免逐步切换带来的中断。实验表明,CARE 在多个基准测试中将任务成功率提升 6.3-18.3 个百分点,同时将动作间延迟中位数降低 28.8-82.6%,接近或超越纯云端方案的效果。
针对具身智能体在长程规划与快速闭环决策间的矛盾,本文提出 CARE 框架,通过轻量级评论模型监控执行可靠性并动态触发向云端强模型的升级控制。该架构利用共享交接内存保持上下文,避免逐步切换带来的中断。实验表明,CARE 在多个基准测试中将任务成功率提升 6.3-18.3 个百分点,同时将动作间延迟中位数降低 28.8-82.6%,接近或超越纯云端方案的效果。
该研究提出一种名为 STR 的方法,利用时空偏好将人类演示转化为全身控制与操作轨迹。通过视觉语言模型选择关键信号与身体部位,并在关键帧分配额外求解迭代次数及更高交互权重,同时引入力学感知接触锚定优化物体表面接触位置。
Motion Diffusion Models 生成的轨迹常违反物理约束,限制其在仿真与控制中的应用。本文提出 PhysibleMDM 框架,通过在推理时优化扩散噪声(无需重训)来促进物理可行性。
该论文通过预注册实验对比了将具身智能体的经验嵌入策略权重与作为外部检索缓冲器的效果。结果显示,将冻结的检索缓冲器附加到固定学生权重上比仅行动控制提升 34 个百分点,显著优于将记忆蒸馏进权重的方案(后者因统计功效不足被撤回)。研究结论建议采用外部化记忆架构,即保留独立缓冲器而非将其参数化入模型权重。
推荐理由:预注册研究表明将记忆外置并作为检索缓冲器使用时,比嵌入权重更能提升具身智能体在视觉条件化任务上的表现。
该系统在 CT 孔道内无需患者屏气或手动置针,即可执行自主呼吸门控穿刺并检测呼吸异常。实验验证了系统跟踪预测呼吸周期及识别异常的能力,旨在缩短手术时间、降低患者不适与辐射暴露。
该综述回顾了触觉感知在灵巧操作中的发展,涵盖力学驱动的接触信号解释与数据驱动的模仿学习、强化学习及视觉语言动作模型等进展。文章分析了从基础传感原理到未来可扩展系统的开放挑战,共 30 页,为构建鲁棒机器人系统提供理论参考。
针对人形强化学习奖励函数设计难、易过拟合或失稳的问题,本文提出 MPBRS 方法,通过势能差引导探索且不改变最优策略。该方法在九个人形机器人上验证了仅需关节映射和默认姿态等元数据即可实现统一配置,相比标准塑形具有更一致的缩放行为和更低调参敏感性。
本文介绍了一种名为 FRED(Future REpresentation learning via self-Distillation with temporal context)的框架,旨在提升世界动作模型(WAMs)中未来视频表征的质量。
Alpha 是一个针对 LLM 驱动具身操作的仿真故障注入与鲁棒性评估框架,通过向感知、执行和规划层注入校准后的故障来揭示失效根源。在包含 150 个回合的平衡矩阵中,确定性脚本预言家以 64.0% 成功率完胜仅得 44.0% 的 Llama-3 智能体,且排除了规划器输出损坏后两者物理表现完全一致。
星忆智能近日完成由顺禧基金领投及凌云光等跟投的数千万元种子轮连续融资,资金将投向核心算法、真实世界多模态数据基础设施建设及商业化能力提升。公司依托自研 EgoKit 采集系统与 HBR Engine 引擎,攻克遮挡与高速运动难题,实现人手—物体交互场景下的毫米级三维手部姿态解析与自动化标注。
HoloBoxing 提出了一种利用预训练全身控制器学习类人机器人拳击的简单配方。该方法将可复用的运动技能与任务决策分离,由紧凑规划器请求目标点,冻结控制器处理关节执行,并通过模仿初始化与强化学习结合优化交互行为。实验表明,在复用表示拟合和单卡任务运行的基础上,仅需约七分钟额外训练即可实现模拟拳击实验中的行为评估,无需重新学习全身控制。
Hugging Face Daily Papers 转述了一篇 arXiv 论文,介绍 RynnUnify 这一 16B 参数规模的统一具身模型。该模型结合视频语言推理实现长视界视觉规划与物理预测,并通过强化学习扩展智能体能力以推断未观测状态,同时开发世界 - 动作扩展将理解转化为机器人控制。
推荐理由:该预印本介绍了 RynnUnify 统一具身模型,展示了其在视觉规划、物理预测及机器人控制上的实验结果与基准。
Dream Labs 宣布完成 9000 万美元种子轮融资并推出 Dream API,其旗舰模型 Dream-1 宣称无需额外数据即可跨硬件控制机器人执行抓取、折叠等任务。公司通过云端运行模型并提供微调服务,支持开发者连接带夹爪的机器人直接调用,同时开放 Playground 供在线测试。
为了解决大语言模型难以在文本空间中准确表征多个可能伙伴状态的问题,该研究提出 ToM2Vec 方法,利用固定预算的连续推理令牌学习抽象思维理论。训练时通过匹配伙伴的实际思想进行监督,测试时生成的令牌作为智能体思考与行动的条件器。
推荐理由:该文提出连续思维向量方法,在多智能体协作中通过潜在空间推理提升对伙伴状态的抽象理解与泛化能力。
蔚来资本牛总会企业辉羲智能近日宣布 Pre-B+ 及 B 轮融资完成,2026 年内累计股权融资规模突破 25 亿元。资金将用于新一代具身智能大算力芯片研发、规模化交付与产业生态建设。公司推出基于通用可编程架构的高性能 AI SoC“光至 R1
在2026年第三季度财报电话会上,马斯克确认Optimus早期生产启动并规划百万台产能,但承认AI、机电设计及可靠性问题仍需一年甚至更久解决。文章指出,单纯扩大制造规模无法保证训练效率,灵巧手的硬件成熟度与工业场景的持续运行要求存在矛盾。
该研究提出了一种针对随机神经控制屏障函数的可验证安全合成方法,涵盖平滑激活与 ReLU 两种情况。团队在倒立摆、Darboux 及单icycle模型三个案例中验证了框架有效性,其中平滑情形无需验证即可生成,而 ReLU 情形采用闭环验证策略。
论文提出开源平台 PolyUMI 和 VisTA 策略,解决机器人模仿学习中触觉与听觉信号缺失问题。PolyUMI 采用无线手持夹爪同步采集腕部相机、光学触觉、接触音频和本体感知数据,且传感手指可直接移植至机器人末端执行器以保留几何一致性。
论文提出 BAS-VLA 框架,旨在解决视觉语言动作(VLA)模型难以区分应保留行为的外观变化与需调整行为的语义变化的问题。该框架在冻结基座模型上构建以‘破坏性’为中心的校准核心,并辅以选择性证据门控机制来修正外观诱导的漂移。实验显示,BAS-VLA 将任务切换成功率从 2.3% 提升至 68.5%,同时在保持风格不变的外观偏移下将成功率从 42% 提升至 70%,且未降低原始性能。
推荐理由:提出 BAS-VLA 框架解决 VLA 模型在外观变化与语义变化下的策略漂移问题,显著提升任务切换成功率。
针对具身智能中视觉语言动作模型推理延迟高的问题,本文提出 rMuscle 框架,利用跨执行相似性构建上下文与动作双重缓存机制,复用视觉 token 输出并减少权重访问。实验显示该方案在 RTX 4090 和 Jetson Thor 上实现 1.29-1.42 倍加速,且在 LIBERO、RoboTwin 及物理操作任务中保持原有成功率。
该论文提出一种动作条件化世界模型框架,旨在解决机器人超声检查中导航解剖标志和目标成像平面的难题。针对高质量演示采集困难且显式仿真器构建不易的问题,作者采用两阶段基于模型的训练流程:首先利用潜在条件扩散世界模型预测未来超声观测值;其次使用目标条件时序 Transformer 预测有序探针动作,并利用冻结的世界模型奖励进行微调。
本文介绍 ASPIRE(Agentic Skill Programming through Iterative Robot Exploration),一种在代码即策略范式下自主编写和精炼机器人控制程序的持续学习系统。
推荐理由:提出 ASPIRE 系统,通过闭环执行引擎与技能库实现机器人控制程序的自主编写与迭代优化。
论文提出了 ReStruct 方法,旨在解决部署学习到的机器人策略时的推理时行为引导难题,即在无需重新训练的情况下将策略导向用户偏好。该方法构建于神经自动机策略之上,将其分解为捕捉任务结构的高层状态机骨架和表示残差策略的低层连续控制器。
推荐理由:提出 ReStruct 方法,通过重构任务结构实现推理时行为引导,在仿真与真实世界中均优于现有方法及 VLA 模型。
SafeDojo 是一种基于模型的安全强化学习框架,利用交互式视频世界模型进行在线强化学习。系统使用 ResNet 成功分类器评分预测帧,并通过轻量级安全头从潜在上下文和动作块中预测接触概率,结合拉格朗日约束的 GRPO 平衡任务执行与轨迹安全性。
该论文提出多分辨率触觉感知框架 MiTaS,利用模态特定卷积主干与 Transformer 融合机制,整合 RGB 相机、GelSight Mini 传感器及高频事件驱动 Evetac 传感器的信息。系统性实验在五项接触丰富的操作任务中验证了该方法的有效性,平均成功率为 80%,而纯视觉基线仅为 35.5%。该成果已提交至 CoRL 2026 会议,预印本发布于 arXiv。
推荐理由:该工作提出多分辨率触觉表征框架 MiTaS,融合 RGB、GelSight 与事件相机数据,在五项接触丰富任务中平均成功率达 80%,显著优于纯视觉基线。
论文提出针对视觉语言动作模型(VLA)的高效一步生成策略。研究发现,仅将训练时间步分布偏向噪声端点,即可在 LIBERO、CALVIN 等基准上获得强单步策略;对于开源 VLA 模型,简单替换迭代解码为单次前向传播即可达到与多步解码相当的效果。
推荐理由:研究发现 VLA 因条件 - 目标结构特性,仅需调整时间步分布即可实现高效单步动作生成,无需蒸馏或专用目标。
针对移动机器人在临时障碍物阻塞路径时面临等待过久或过早绕行的效率问题,论文提出 OSCAR 框架。该方法利用障碍物的类别标签,从在线经验中学习条件化的剩余通行时间分布(含右删失观测),并将其集成到时间依赖的图规划器中,动态计算每条受阻边的耐心阈值以平衡等待与绕行策略。
该论文研究异质多团队协作中的动态机器人分配问题,将机器人视为可转移资源,提出基于汉密尔顿法则的利他决策机制及图神经网络策略。模型在消防场景下与精确优化及多步仿真对比,并在包含 15 台机器人的五组物理测试中验证了重分配策略的有效性,所有试验均达到灭火阈值,优于固定团队分配的两次成功。
针对世界模型在分布外状态预测不可靠的问题,本文提出一种推理时的反馈机制,利用执行后的真实观测在线校正预测偏差。该方法引入动作感知引导以优化控制翻译,并在 LIBERO-Plus、Robomimic 及实物操作任务中显著提升了策略性能,将预测误差降低最高达 76.4%。实验证明该机制可即插即用,能改进预训练基础模型 Fast-WAM-Joint 的预测效果而无需更新其参数。
推荐理由:提出推理时反馈机制,无需额外训练即可修正预测误差并提升策略性能。
论文提出 WARPED 框架,旨在利用仅单目 RGB 数据训练视觉运动策略,解决现有方法依赖多视角或深度传感器的限制。系统通过视觉基础模型初始化场景,追踪手与物体交互并重新定位轨迹至机械臂末端执行器,最后利用高斯泼溅技术合成逼真的腕部视角观测以直接训练策略。实验显示,该框架在五项刚性桌面任务和一项连杆物体任务中,成功率与遥操作相当,且数据收集时间减少 4-9 倍。
Safe-Night VLA 是一个多模态操作框架,旨在让机器人在非结构化环境中看到常规传感器无法捕捉的热信号并执行安全操作。该研究将长波红外热感知集成到预训练的视觉语言骨干网络中,使语义推理基于热力学属性;同时通过控制屏障函数在策略执行期间施加确定性工作空间约束以应对分布外条件。
论文提出 ExtremControl 低延迟全身控制框架,通过底层加入缩放速度前馈减少约 70ms 跟踪延迟,并直接在 SE(3) 位姿上操作以避开关节空间重映射。系统支持光学动作捕捉与 VR 追踪,端到端延迟低至 50ms,实现了乒乓球平衡、抛接球等现有遥操作无法完成的任务。
推荐理由:提出 ExtremControl 框架,通过速度前馈与 SE(3) 位姿控制将端到端延迟降至 50ms,支持乒乓球平衡等新任务。
该论文提出 HEHA(分层异构代理探索)框架,解决无人机、轮式及足式等异构机器人在复杂地形下的未知环境探索问题。核心贡献是全局规划算法 RCH,能在遍历性约束下快速求解大规模受限多重哈密顿路径问题,将最大路径长度(makespan)降低 47%,整体探索时间缩短 30%;局部规划器亦考虑异质性以避免重复探索。材料为 arXiv 预印本,未提及同行评审状态或真实部署结果。
AFFORD2ACT 研究仅用稀疏视觉表征进行机器人操作的可行性。该方法利用现成的语言条件化 affordance 模型定位任务相关区域,选取最多 15 个物体关键点和 4 个末端执行器关键点(共 19 个点),并辅以轻量门控机制决定注意力分配。
推荐理由:该工作证明仅用 19 个稀疏关键点即可在六项真实机器人任务中超越 RGB/Dense 基线,平均成功率达 82%,为紧凑状态表示提供了新范式。
针对现有基准未适配农业机器人的问题,作者构建了包含1560个场景的A2A基准,发现长指令导致性能下降。为此设计了STL模块将复杂指令分解为子任务,集成到NavGPT骨干网络提出AgriVLN方法,使成功率从0.33提升至0.47,同时平均导航误差略有增加。
论文介绍 AgiBot World Colosseo 平台,包含超百万条轨迹覆盖 217 个任务及五种部署场景,通过标准化采集管线保证数据质量与多样性。
推荐理由:Agibot World 发布百万级轨迹数据集与 GO-1 通用策略,预训练模型在域内及分布外场景均提升 30% 性能。
该论文提出 CW-WAM,这是一种联合预测视频、运动和接触力矩的世界动作模型。它采用混合运动 - 力控制灵感,包含统一交互模块和成对因果注意力机制,利用长固定长度力矩记忆保留过去交互信息。
推荐理由:该工作提出 CW-WAM 模型,结合接触力矩预测与慢快控制架构,将方柱插入成功率从 25% 提升至 70%,为力敏感操作提供了新的参考。
论文定义多模态具身智能体(MMEA)为耦合多模态任务推理与物理动作的系统,提出PAPAV框架以感知、预测、规划、行动和验证五种功能重新审视该领域。研究指出当前评估过度依赖任务成功,而忽视对预测和验证能力的考察,并分析了从电脑使用转向机器人使用时面临的物理约束挑战。
针对部分可观测环境下的序列决策难题,本文提出 ASTEROID 框架,利用学生 - 教师监督学习架构实现高效的测试时探索。该方法让学生先收集同策略上下文,再由特权专家提供条件化动作标签,使学生学会在不确定时搜索、揭示隐藏状态后利用。
推荐理由:提出 ASTEROID 框架,通过不对称同策略蒸馏让学生在部分可观测环境下学会测试时探索,仿真转现实成功率提升 40%。
针对 VLA 模型在复杂长视界技能学习中面临的延迟信用分配与子任务掌握不平衡问题,本文提出 AtomicRL 框架。该方法引入语义感知策略优化(SAPO)以约束跨任务边界的信用污染,并通过瓶颈自适应目标探索(BATE)动态协调采样与局部探索。
推荐理由:提出 AtomicRL 框架解决长视界操作中的信用分配与瓶颈问题,在仿真及真机部署上均优于 PPO。
最多提供 50 页,更早的内容请使用搜索或主题页。