AQUAACT:首个水下遥操作数据集与闭环基准
arXiv 发布 AQUAACT,这是首个公开的水下机器人语言标注数据集,包含 1.9 小时真实演示和 17.9 小时仿真演示及惯性测量数据。实验表明该数据集支持从仿真到真实的迁移并减少真实样本需求,但七种策略在闭环任务中完成率均低于五分之一,且陆地预训练对水下大模型无显著优势。
arXiv 发布 AQUAACT,这是首个公开的水下机器人语言标注数据集,包含 1.9 小时真实演示和 17.9 小时仿真演示及惯性测量数据。实验表明该数据集支持从仿真到真实的迁移并减少真实样本需求,但七种策略在闭环任务中完成率均低于五分之一,且陆地预训练对水下大模型无显著优势。
论文提出自结晶行为树(SCBT)框架,将大模型作为编译器而非运行时组件,通过上下文多臂老虎机、CMA-ES 调优及三阶段准入管道筛选补丁。在 Project AirSim 仿真中,该方法在遭遇风切变和电池故障时,仅用约 11 次 LLM 调用即可将任务成功率从 12% 提升至 97%,最终固化为无需学习的确定性行为树。
本文提出一种结合人类认知与机器人精度的共享自主控制范式,利用动态贝叶斯网络从遥操作中的注视数据和机械臂运动实时推断人类意图。系统通过熵值调整自主性水平,将人机输入融合为模型预测控制问题,实现了从直接遥操作到完全自主的平滑过渡。实验表明,该方法相比基线算法在物体检索时间、轨迹长度和人工控制输入上分别减少至少 61%、44% 和 60%,且用户感知到的可控性与可预测性较高。
arXiv 发布论文 SurGPT,提出一种结合视觉编码器与 Transformer 架构的基础模型,旨在自动分析 da Vinci 机器人手术视频以进行技能评估和手势理解。
论文提出 RCRA 在线自适应框架,通过 Transformer 估计行人反应性来调制冻结保守策略的残差,实现与反应型行人的合作及对非反应型行人的保守避让。相比贝叶斯基线,仿真平均准确率提升 12.62 个百分点;在成功率均高于 90% 的场景中,路径长度分别减少 16.7%(相对保守骨干)和 7.3%(相对随机训练基线),平均成功率提升 14.88 个百分点。
arXiv 论文介绍了一种用于实际运动生成的注意力混合密度策略,该方法利用能量分数优化高斯混合参数以表征未来的视觉 - 运动轨迹分布,从而避免传统负对数似然方法的奇点与梯度不稳定问题。在八自由度机械臂实验中,该模型能生成明确的避障轨迹并稳定学习;在随机移动物体抓取任务中,其在未见条件下的性能优于扩散策略 15-25%,展现了在多模态和快速时序决策场景下的优越泛化性与实时可行性。
针对传感器非刚性安装限制,该研究提出基于 Denavit-Hartenberg 约定的动态相机 -IMU 外参标定方法及两步初始化策略。仿真实验表明,该方法能有效适应外参数变化并保持具有竞争力的定位精度。相关预印本已上传至 arXiv,代码与权重开放许可情况原文未明确提及。
针对具身基础模型(EFMs)需要大量机器人数据预训练的问题,本文提出 TILDE 框架,结合学生诱导状态的在线蒸馏与教师执行恢复轨迹的学习。研究进一步开发了 AutoDAgger 自动化数据聚合管道,利用机器人奖励模型监控任务进度并触发教师干预,从而在无人类监控下收集恢复经验,相比人工闭环方法加速超两倍。该方法在三个真实世界任务上使性能提升最高达 4.1 倍,并支持跨架构蒸馏。
论文提出了 HumanoidPose 框架,旨在解决在线或 AI 生成视频缺乏对应关节配置的问题。该方法结合预训练的人体姿态特征与机器人运动学,在统一模型中预测每个具身形态的关节配置,并将人体动作重定向至十六种不同人形机器人以实现全合成数据学习。
该研究首次系统性地评估了七种前沿多模态语言模型在物理硬件上直接控制机械臂执行六种 RoboDojo 基准任务的能力。结果显示,虽然当前模型能完成多种操作但精度与效率尚不足够,不过从 2026 年 7 月到 9 月期间性能翻倍时间为 44.5 天,最佳执行速率提升 4.4 倍且最低执行成本下降 6.2 倍。
论文提出了 GOFusion 系统,这是一种用于自主机器人导航的实时视觉建图方法。该系统将高斯原素锚定到局部占用图上,既提供路径规划所需的空间感知能力,又具备支持信息驱动导航的高保真外观特征。
研究开发两个 ROS 节点利用梯度提升分类器区分七种放射性同位素,在独立测试集上准确率达 95%,并支持 CSV 数据输入。实际演示中 C12137 探测器挂载于 Jackal UGV,跨三个地点的机器人评估共 42 次试验仅正确分类 30 次(71.43%)。其中 Am-241、Co-60 等五种同位素在六次试验中全对,而 Ba-133 和 Eu-152 则全部误判。
论文介绍 Map2Vid 任务,将具身导航视频生成重构为从鸟瞰图(BEV)到视频的合成问题以解决文本提示空间模糊及底层轨迹控制不直观的问题。作者构建了包含超 10 万条导航序列的专用数据集,涵盖 61 个室内场景,每条数据均配对第一人称视频、BEV 地图、相机轨迹和语言指令。
针对小型视觉语言模型在具身智能任务中能力不均的问题,本文提出一种将感知证据转化为结构化决策的导航框架。该方法在每一步向模型询问两个感知问题(方向判断与停止依据)及一个路径指令查询,利用鸟瞰图上的语义场、骨架图与两阶段终止器处理结果。
这篇论文提出一种学习优化框架,旨在解决多旋翼飞行器在动力学和驱动约束下的协同路径与时序规划难题。该方法通过预测空间航点和有序通行事件来协调独立求解的规划器,利用可微序列凸编程结合刚体动力学与转子推力边界,使网络能通过生成的轨迹接受碰撞和完成度梯度训练。
该系统利用混合现实头显辅助操作员,在关键阶段仅需微调即可由机器人自主完成大部分轨迹。研究通过收集高精度双手“销钉插入孔”任务的演示数据并训练模仿学习策略,验证了其在降低数据采集负担方面的有效性。该方法旨在以更低的人力成本获取高质量数据,从而训练出完全自主的任务执行策略。
Unitree Go2 平台实验显示,基于前瞻马尔可夫决策过程(Look-Ahead MDP)的轻量级高度图监督器能统一远近场约束,显著减少迟滞切换并降低无效步态耗时。相比调优后的反应式基线,该方法在室内外混合地形中提升了翻滚稳定性且无需针对特定场景重新调整。该研究以预印本形式发布于 arXiv,代码与权重暂未提及开放许可。
该研究指出通用图像编辑指标无法预测机器人操作的成功率,在 CALVIN 和 SIMPLER-Bridge 基准上验证了大型专有编辑器在多步任务中表现不如小型微调开源模型。
推荐理由:论文证明编辑画质与机器人控制成功率无关,提出基于空间掩码的 SGE-Goal 框架将开源基座模型转化为最强目标生成器。
论文提出了 DiPLO 框架,结合自蒸馏扩散规划器与低层全身跟踪策略以解决人形机器人行走与操作协同难题。该框架先通过人类到机器人的动作重定向进行监督预训练,再经自蒸馏去除对强任务条件的依赖,最后利用扩散增强近端策略优化(DA:PPO)微调以提升成功率并适配冻结的跟踪器执行能力。
针对松散风化层中轮式行星漫游器缺乏原则性恢复控制器的难题,研究提出了一种无需预定义动作的循环策略。该框架基于连续介质 MPM 仿真器验证,在 z/r=2.0 的陷阱配置下,平均逃脱成功率达 62.5%,显著优于最强脚本控制器(7/32)及噪声动作(0/32)。研究结果确立了测试仿真环境下的恢复能力,但物理迁移尚未得到验证。
针对大模型 VLA 骨干在终身学习中的存储膨胀问题,本文提出 SARAM 框架。该方法在新任务中复用冻结的旧适配器,仅在稀疏层引入新适配器并施加复制惩罚;部署时通过激活统计生成签名识别任务并将更新合并回骨干网络,仅保留骨干参与控制循环。实验显示,SARAM 在四个 LIBERO 套件上表现优于或等于基线,每任务磁盘状态减少最多 4.5 倍,且 GPU 内存与推理频率随任务流增长保持稳定。
论文研究了在策略改进过程中,固定视觉语言模型(VLM)对任务成功的判断偏差问题。实验显示,虽然成功率从 66.8% 提升至 97.0%,但剩余失败案例中位于托盘边缘下方的比例显著增加,导致 VLM 误判率上升。研究揭示了任务能力提升与故障可检测性之间的解耦现象,并呼吁在报告中同时包含绝对漏报、条件漏报和审计覆盖率指标。
论文提出一种分层控制器用于四足机器人全身控制:强化学习负责适应结构化的运动参考(如步态时序、落脚点),而高频率执行仍由模型基骨干网络、步态调度器及反应式脚部规划器负责。
arXiv 论文 EndoVLA-OOV 提出一种语言条件化的视觉 - 语言 - 动作策略,用于解决上消化道内镜中需将已观察到的可疑区域重新带回视野的任务。该工作将预训练骨干网络适配为连续双自由度远端弯曲指令,并结合初始、中间及当前图像引导搜索。
针对现有方法通过直接对齐预训练 3D 基础模型表示导致 VLA 模型特征空间秩坍缩的问题,本文提出一种关系式空间对齐方法,将关注点从点对点相等转向成对关系对齐。该方法能在注入 3D 空间感知能力的同时保持模型的原始表达能力。实验在公开基准、新的空间推理基准及真实世界操作场景中均表明,该方法能有效将 3D 空间表示融入 VLA 推理,实现多样化的操作任务中的鲁棒性能与增强的空间感知能力。
针对人形机器人在多样任务中需兼顾高层决策与物理响应的挑战,本文提出 FIBER 框架,利用冻结行为基础模型(BFM)的可执行潜在空间作为共享规划表示。通过潜在策略投影(LPP),将独立习得的特定任务策略映射至该空间,在保持高频状态反馈的同时实现低频规划。
该论文针对商品级RGB-D传感器在透明、反射或无纹理物体上产生的深度缺失与伪影问题,提出Noise-Invariant Spatial Encoding (NISE) 架构。
该研究展示了四足机器人仅凭脚部自主解决巨型魔方的能力。系统开发了车载 RGB-D 感知管线以估计魔方位姿和颜色状态,规划器将其转化为可执行技能序列。通过强化学习训练的全身技能在保持层配置的同时重定向魔方并用单脚固定进行转动。部署的策略能容忍相对位置变化并恢复外部干扰。硬件实验完成了三次自主求解,每次约需 30 步,耗时 8-9 分钟。
针对大语言模型驱动机器人面临的越狱与复合指令安全风险,论文提出 RuleGraph 多智能体规则图规划框架。该方法通过五类协同智能体将通用安全原则转化为具体规则,在规划图中继承并验证候选计划,确保拒绝有害子任务同时完成合法部分。实验显示,该框架在两个基准测试中将攻击成功率降至 0%,同时在 RoboGuard 基准上达到 98.57% 的任务完成率,在长视界复合指令上达到 84.54%。
作者推出了 LIBERO-Pro2.0 基准,旨在系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含 1,648 个经过人工校验的偏移任务实例,涵盖条件、环境、观测等六个维度的 22 种静态扰动和 20 种运行时干预,并提供了 39,390 条训练轨迹。
LIBERO-Dynamic 是 LIBERO 基准的动态扩展版本,针对传统仿真中目标静止和推理瞬时的假设进行了改进。该工作通过接触摩擦驱动物体沿三条轨迹族和速度层级运动,并根据校准的模型特定推理延迟推进物理世界。
针对无法整合过往失败的冻结视觉语言动作(VLA)策略,研究提出了可审计的外部记忆包装器 RTPC。该方法在 CALVIN 单任务操作评估中虽降低了基于深度的近碰撞代理事件率,但未改变任务成功率且独立复现失败。分析指出端点耦合与批次敏感性等局限,表明该干预未确立物理安全改进或特定记忆收益。
论文提出 SocialCoAct-Agent 框架,将人形机器人的自中心社会协同行动建模为端到端智能体任务,实现从视觉观测与对话历史到言语响应及原子动作序列的生成、对齐与执行。
GazeAct 是一个配备人眼注视信号的实物机器人操作数据集与训练框架,旨在解决视觉语言动作模型(VLA)将指令锚定到正确物体和接触点的问题。研究团队通过屏幕遥操作记录操作员在机器人摄像头画面上的注视信号,获得包含 12000 次演示、覆盖 40 个任务及五个领域的多视图数据,且注视信号以 300 Hz 与图像、本体感知及动作同步。
推荐理由:该工作提出 GazeAct 数据集与框架,利用遥操作记录的人眼注视信号作为软监督来正则化 VLA 模型的视觉注意力,在真实机器人任务中显著提升成功率。
arXiv 论文 BodyBridge 针对仿真视频中行人和骑行者(VRU)缺乏姿态与身份细节的问题,提出一种结合场景几何、像素级身体对应及精确 VRU 掩码的表示方法。该方法在 CARLA 到真实视频的翻译任务中,将近距离 [email protected] 提升 22%,并将身体翻转错误减少 18%。所有代码、数据与模型检查点将公开以支持可复现研究。
针对多模态智能体长期记忆中存在重复观测且固定检索深度难以平衡信息量的问题,论文提出 PACE-Mem 方法。该方法构建互补证据序列并基于同一选择轨迹确定长度;对结构化记忆采用查询引导池化计算相关性得分与表征,利用最大边际相关(MMR)在查询相关性与重叠度间取得平衡,并通过比较归一化后的相邻下降值确定检索深度。
Unitree H1-2 研究对比了人类导引运动与机器人特定运动在建筑搬运任务中的表现。后者利用逆运动学及最小加加速度策略,将四组目标任务的执行时间从 25.03 秒缩短至 12.87 秒,轨迹长度减少至 0.92 米且机械功仅为 58.7 焦耳。结果表明允许机器人偏离人类演示动作可显著提升运动执行效率,但需更多任务验证其生产力增益。
ACTS 是一个仅需人类操作 GelSight 传感器数据训练的视觉触觉世界模型,构建了包含 4.9 小时双手动作的 React 数据集。在无需微调的机器人遥操作测试中,该模型成功将接触动力学从人类转移至机器人,且触觉印记预测表现优于纯视觉外观转移。
该研究构建了首个基于技术能力的机器人暴露度量体系(ROE/RIE/RGE),通过大模型将 16 项机器人能力与 52 项 ONET 工作能力进行关联评分。研究发现,机器人暴露度集中在建筑、农业等体力密集型领域及低工资职业,且当前指数反映的是技术相关性而非实际部署就绪状态,应视为物理自动化影响工作的上限估计。
推荐理由:构建了首个基于能力的机器人暴露指数,量化了物理自动化对职业、行业及地理区域的潜在影响范围。
eXtended Reality Teleoperation(XRT)框架通过轻量级振动与听觉反馈解决双人遥操作中缺乏接触感知的难题。实验显示,所有受试者均认为手指定位的振动提示比开放式耳声化更有效且更易解读,但任务完成时间、失败率等性能指标在不同反馈条件下无显著差异。研究结论表明,对于新手协作遥操作,触觉线索主要提升了感知效率,其对实际任务性能的改善效应尚待进一步验证。