跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 5 页

11月16日周一第 81–100 条
  1. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。

  2. 上海人工智能实验室 · 科研动态78

    上海AI实验室发布开源书生科学多模态大模型S2.1 Flash

    上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。

    推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。

11月15日周日
  1. 盖世汽车 · 汽车资讯82

    小智一周要闻|均胜电子向宇树交付大脑背包;禾赛机器人动力模组出货超3.5万套

    盖世汽车汇总了本周具身智能与物理AI领域的多项进展:均胜电子向宇树交付首台高算力大脑背包,双方推进工业场景应用共研;禾赛机器人动力模组累计出货超3.5万套,全身关节模组进入量产。

    推荐理由:原文汇总了均胜电子、禾赛等企业的交付与融资进展,以及英伟达、谷歌的模型发布和韩国政府的扶持计划,适合快速了解本周产业动态。

11月14日周六
  1. The Decoder · Robotics80

    Runway 开源机器人控制模型 Praxis-1

    AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。

    推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。

  2. Hugging Face Daily Papers82

    The Value of Thinking: Learning When to Reason in Hybrid Decision Models

    论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。

    推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。

11月13日周五
  1. arXiv · 机器人与计算机视觉82

    两步思考:利用自 grounding 验证缓解 MLLM 一致性偏差

    论文评估了跨 13 个模型和 28 种设计的 MLLM 验证器,发现其存在严重的‘一致性偏差’(过度认可代理行为)。作者提出 SGV 方法,通过先生成行为先验再基于此进行推理判断,显著提升了失败检测率和准确率。

    推荐理由:提出 SGV 方法缓解 MLLM 验证器的一致性偏差,在 OSWorld 等任务中提升完成率达 20pp。

  2. arXiv · 机器人与计算机视觉82

    策略库 CBF:通过并行回滚实现运行时有限视界安全

    针对非结构化环境中单一备份策略失效的挑战,本文提出了策略库控制屏障函数(PL-CBF),这是一种运行时安全滤波器。该方法通过评估满足约束的并行有限视界回滚结果,从候选策略中选择容许控制集体积最大的策略,并求解二次规划以最小化对名义输入的修改。研究在室内导航、高速驾驶及四旋翼飞行等仿真场景,以及移动机器人和定制四旋翼的硬件实验中,均证明了其在保持毫秒级计算时间的同时提升了安全性能。

    推荐理由:提出基于并行有限视界回滚的策略库控制屏障函数,在仿真与硬件实验中验证了其在复杂动态环境下的实时安全性。

  3. arXiv · 机器人与计算机视觉82

    AnyCamVLA:一种无需微调即可实现视点鲁棒的视觉语言动作模型相机自适应方法

    针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。

    推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。

  4. arXiv · 机器人与计算机视觉78

    一种融合触觉的双层框架用于鲁棒的基于模型的在手中操作

    针对现有基于模型的方法在处理复杂物理接触和建模误差时的局限性,本文提出了一种融合触觉感知的双层框架。高层通过接触隐式的模型预测控制联合生成参考手指运动与接触点,实现在线反应规划与扰动恢复;底层利用手力 - 运动模型与触觉反馈并发跟踪这些参考,补偿建模误差并增强鲁棒性。

    推荐理由:该工作提出双层框架,结合接触隐式 MPC 与触觉反馈以解决模型误差问题。

  5. arXiv · 机器人与计算机视觉78

    AstroMemBench:具身航天体记忆系统基准

    AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。

    推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。

  6. arXiv · 机器人与计算机视觉82

    AFTER:一种用于错误驱动保留的具有自适应快慢时间尺度的世界模型

    针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。

    推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。

  7. arXiv · 机器人与计算机视觉85

    UAV-Flow++:统一的语言引导无人机飞行评测与学习套件

    针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。

    推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。

  8. arXiv · 机器人与计算机视觉83

    SALA:语义对齐的潜在动作实现具身基础模型的双轴扩展

    针对现有潜在动作模型仅通过视频重建导致表征按外观聚类而非动作的问题,该研究引入 SALA 方法,利用人类与机器人视频的语言描述估计语义相似度并建立跨载体对应关系。

    推荐理由:提出利用语言描述对齐人类与机器人潜在动作,无需配对数据即可统一监督信号。

  9. arXiv · 机器人与计算机视觉78

    ACE-CaP-0:经验时代的现实世界代码策略

    ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。

    推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。

  10. arXiv · 机器人与计算机视觉78

    EgoX:基于身体 Dreaming 的以自我为中心跨具身操作学习

    论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。

    推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。

  11. arXiv · 机器人与计算机视觉85

    BlinkMimic:基于世界模型与 Muon 更新的快速人形运动跟踪训练方法

    针对传统全身运动跟踪策略训练耗时长的痛点,本文提出 BlinkMimic 配方,结合从并行仿真学习的世界模型回传梯度、Muon 更新机制以及残差策略等技术。

    推荐理由:作者提出 BlinkMimic 配方,在单卡 RTX 4090 上仅需 3.4 分钟即可训练出能复现 40 个动作片段的人形机器人全身运动跟踪策略。

  12. arXiv · 机器人与计算机视觉82

    I See What You Want:从视觉遥操作历史解码层级化操作意图

    论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。

    推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。

  13. arXiv · 机器人与计算机视觉78

    记住改变几率的事件:用于长视界操作的评论门控事件记忆

    针对长视界操作中因任务进度和早期尝试结果导致的决策别名问题,本文提出 CGEM 方法。该方法利用评论器筛选能显著改变成功概率预测的事件进行记忆,将正负变化分别编码为进展与失败记录,并在子任务完成后丢弃失败记录以降低成本。在十个子任务的诊断环境中,CGEM 达到 88.0% 的成功率,而传统观察窗口和运动学事件记忆方法成功率均为 0.0%,移除失败记录后成功率降至 1.7%。

    推荐理由:提出基于结果导向的评论门控事件记忆机制,解决长视界操作中决策别名问题。

  14. arXiv · 机器人与计算机视觉78

    ManiLadder:基于分类与多级难度的机器人操作基准测试

    ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。

    推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。