AWARE:面向视觉语言动作模型的行动熵加权与注意力引导观测证据检索方法
论文提出一种名为 AWARE 的无需训练且即插即用的模块,旨在增强视觉语言动作(VLA)模型的可泛化操作能力。该方法利用前馈网络作为键值记忆,通过逐层动作熵指标追踪不确定性,并借助关联记忆查找检索观测证据注入 FFN。
论文提出一种名为 AWARE 的无需训练且即插即用的模块,旨在增强视觉语言动作(VLA)模型的可泛化操作能力。该方法利用前馈网络作为键值记忆,通过逐层动作熵指标追踪不确定性,并借助关联记忆查找检索观测证据注入 FFN。
针对复杂环境中目标搜索问题,研究提出 RPT* 算法解决含概率终端的哈密顿路径难题,通过动态规划规避历史依赖并保证解的最优性。构建分层自主搜索系统 HATS,结合贝叶斯滤波或自主探索,在仿真与真实机器人实验中均实现比基线更快的平均寻靶速度。
针对双手操作中动作顺序、物体参与及交互几何关系变化显著的挑战,该研究提出一种基于消息传递神经网络编码器与 Transformer 解码器的语义几何图表示方法。该方法在时序场景图上学习解耦的动作无关表示,通过条件于动作上下文预测未来动作、关联物体及其运动历史。
论文介绍了 DreamTacVLA 框架,旨在解决视觉语言动作(VLA)模型缺乏对物理接触感知的局限。该框架采用分层感知方案,结合高分辨率触觉图像、腕部相机局部视野及第三人称宏观视野,并通过层级空间对齐损失统一多尺度感官流。
该论文对2021年至2026年间发表的83篇关于人机协作的实证文献进行了系统综述。作者遵循PRISMA 2020标准,利用理论驱动的框架分析将现有研究归纳为表征、预测和整合三大能力下的九个构念。
该论文针对在线强化学习中出现的可塑性丧失现象,分析了 Proximal Policy Optimization 算法中策略标准差的影响机制。研究提出了多项表征指标,并在七自由度机械臂上进行了真实部署验证,为缓解 LoP 提供了理论依据与实验基准。
论文提出 The Trinity 框架,旨在解决多模态智能体在构建异构可验证环境和手动迭代方面的瓶颈。该框架通过 Creator、Explorer 和 Evolver 三个角色耦合世界生成与 Harness 进化,将任务组织从表面类别转向共享能力需求,构建了层级化的能力树。
论文介绍 OmniBrain-0,这是一个轻量级统一具身代理模型,旨在协调操作与导航任务。该模型采用共享高层决策架构,结合任务理解、规划及反馈驱动恢复机制。研究提出渐进式训练框架,整合具身预训练、领域专用代理蒸馏及多教师在线策略蒸馏(MOPD),并将 Rubric-Guided Recursive Self-Improvement 数据飞轮引入以持续优化专家模型。
推荐理由:报告提出 OmniBrain-0 统一代理架构,通过渐进式训练与递归自我改进机制整合多模态能力。
针对 VLA 模型泛化受限于动作标注数据的不足,本文提出 ThinkWorld 框架,将动作思考表示为连接当前与未来状态的离散运动序列(Chain-of-Dynamics)。该方法先利用带标注演示初始化,再通过预测未来状态并与观测结果匹配进行强化学习,使无标注视频能提供直接监督。实验在仿真和真实机器人上验证了有效的人机经验迁移及对新任务环境的泛化能力。
针对多指灵巧手的内手持物体姿态调整任务,本文提出了一种无需人类数据即可在仿真中训练的策略配方,涵盖多样化重置、生成抓握数据集及自适应摩擦课程。通过系统辨识,该策略可零样本迁移至真实 LEAP 机械手,仅需手腕深度相机或动作捕捉即可实现。
推荐理由:本文提出无需人类数据的灵巧手策略训练配方,并通过学习到的残差安全滤波器将物体掉落率降低 75%,同时保持高成功率。
EgoThumb 是一款完全开源的视觉驱动超数机械拇指,通过紧凑的双肌腱驱动结构将执行器移至前臂以减轻末端重量。系统利用基于视觉的模仿学习策略,直接将手掌朝向相机的自中心图像映射为连续关节位置,从而解码人类意图并实现跨用户与环境的鲁棒自主操作。所有硬件设计与软件实现均已开源,相关论文已获 IEEE/RSJ IROS 会议接收。
本文介绍了一种针对四旋翼穿越移动窄缝任务的端到端视觉控制策略,该策略直接基于机载视觉和惯性测量输出推力与姿态指令。研究提出可微分移动间隙公式,将稀疏的穿越事件转化为密集的路径目标,无需教师、规划器或蒸馏即可从随机初始化训练。
推荐理由:提出可微分移动间隙公式,实现无需教师或规划的端到端视觉控制策略,在仿真与真实四旋翼上均验证了从随机初始化直接学习动态窄缝穿越的能力。
针对传统二元成功指标无法反映物体运动学约束的问题,研究引入无需演示数据的约束参考策略(CRS),将末端执行器速度投影至关节轴以分离有效进度与无效损耗。该方法在 74 个仿真多连杆物体上验证了鲁棒性,且门控策略在抽屉任务中成功率达 53.6%,其非轴向旋转指令量约为同类策略的 40 倍。
针对模仿策略在局部区域执行失败的问题,本文提出 Adaptive Residual Correction (ARC) 模块,利用强化学习在冻结策略上学习残差修正,并通过稀疏人工修正确定激活时机、探索空间与最终执行内容。实验显示该方法将三个精细操作任务的平均成功率从 33.3% 提升至 75.0%,且人工修正能定义保留 96.0-97.7% 修正幅度的低维子空间。
针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。
推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。
该预印本介绍了 StabBot 系统,利用调优后的摆锤卡尔曼滤波在立体图像中跟踪管道关节,结合 ResNet-18 关键点网络定位三维位置,并通过残差强化学习策略优化抓取。
针对传统单臂扰动训练无法覆盖双臂工具使用中滑脱、时序错位及复合失败等新类型问题,该研究在仿真环境中测量了各传感通道对故障原因的识别能力。实验发现当工具手延迟时,被动传感无法区分是否同时存在推力不足,但基于内部状态的 VLM 诊断策略能在两重尝试内通过升级机制修复同等数量的故障。
这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。
推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。
论文提出了 Ego-CEVR 数据原生框架,旨在将低成本的人类第一视角视频转化为机器人操作能力。该框架包含全局模块和交互模块,分别通过未来预测学习物体关系与任务状态,以及结合腕部观测学习局部对齐与接触线索。系统支持在大规模人类第一视角视频及多样化机器人具身视频上独立预训练全局模块,无需机器人动作标签或成对的腕部观测数据。
该研究提出了一种由神经网络控制的固定翼拦截无人机系统,该网络直接将单目视觉观测映射为执行器指令。策略通过自定义 Python 环境中的强化学习和近端策略优化进行训练,并在仿真中与经典引导控制器进行了对比测试。最终该系统在真实飞行场景中成功拦截了机动目标,验证了人工智能在自主控制固定翼拦截无人机方面的潜力。
Alex S. Miller 团队开发了一种使用离散电路组件构建转子的宏观电动场感应电机,成功模拟了深条设计以在宽速度范围内实现更高扭矩。该研究通过 stator 电极诱导可动转子表面电荷,突破了单一连续材料在电阻率、介电常数及电路特性上的限制。论文已提交至 arXiv (arXiv:2610.37452),涵盖机器人学与系统控制领域。
该研究提出 MARL-Exo 框架,通过多智能体强化学习在仿真中同时训练全身体肌肉骨骼模型与双侧髋关节外骨骼策略。策略仅观测延迟的髋部运动学信息,奖励函数包含基于生理学的代谢功率(及可选的机械功塑形)。
推荐理由:该研究展示了通过多智能体强化学习在仿真中与人体模型共适应训练的髋关节外骨骼策略,能在无需针对新用户单独调优的情况下降低代谢成本。
针对机器人策略评估仅依赖二元成功信号的问题,研究团队提出 QCP 方法,支持在推理阶段动态控制执行速度、运动平滑度等质量属性及其组合。该方法通过迭代回顾重标循环收集在线轨迹并微调策略,实验显示其在 Robomimic 和 RoboEval 上持续提升任务质量与成功率,并在真实搬运酒杯等操作中验证了实用增益。
针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。
推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。
针对现有视觉语言动作(VLA)模型忽视空间约束与动态障碍物的问题,本文提出 VLA-Stem,这是一种无需微调底层策略的轻量级安全机制。该方法将动作块转化为运动参考,利用轨迹级引导保留空间意图,并结合机器人本体感知与局部障碍物信息在推理时自适应调整执行。
论文提出 Adaptive Failure-Informed Learning (AFIL) 框架,解决视觉语言动作模型依赖成功行为克隆导致的脆弱性问题。该方法利用预训练模型在线生成失败轨迹作为自适应负向引导,联合训练双动作生成器以共享视觉语言骨干网络。实验表明,该框架在域内及跨域任务中均能提升成功率与鲁棒性,且参数开销有限。
该研究利用事件驱动的脉冲神经网络控制器,解决欠驱动机器人的轨迹跟踪与周期轨道稳定问题。方法将非线性动力学线性化为周期性时变系统,并扩展了原用于 LTI 系统的贪婪李雅普诺夫设计以构建反馈控制器。有效性已在蝴蝶机器人(butterfly robot)的轨迹稳定任务中得到验证。
针对 VLA 与 WAM 社区的争论,本文提出将骨干初始化、未来观测目标及推理机制解耦的 Just Action Model(JAM)框架。该框架利用前瞻性损失训练当前特征预测冻结的未来编码,无需视觉生成即可提升控制性能。
论文介绍 Retrieve to Act (R2A) 测试时扩展框架,将分布外鲁棒性问题转化为几何运动原语检索问题。该方法构建离线时空运动原语图,利用查询依赖的图神经网络在推理时动态定位并检索兼容的未来运动原语,通过门控机制与冻结 VLA 预测动作融合,修正错误轨迹同时保持局部反应性。
针对强化学习策略在长时序中信息丢失问题,该工作提出基于 Hadamard 记忆的本地空间矩阵记忆(LSMM)架构。实验显示,LSMM 在自主迷宫探索任务中匹配了强基线的覆盖率,且是唯一能记住迷宫布局的架构,将重建误差降低了三倍。
针对月球低重力环境下的双足机器人设计问题,研究提出一种双层协同设计框架:外层通过差分进化搜索连杆长度,内层对比基于二次规划的任务空间控制器与直接配点法轨迹优化。
针对仿生扑翼飞行器噪音问题,该研究通过优化翅脉布局与添加蜂鸟羽毛状后缘 fringe,使拍击反转时的点击声降低最高 8 dB、宽带呼啸声减少 3-4 dB。实验证实翅脉降噪效果对朝向敏感而非厚度,且后缘结构在零升力代价下匹配了切割锯齿翼性能。论文已上传 arXiv,代码与数据暂未开放。
该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。
推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。
arXiv 论文 GAWM 提出了一种紧凑的多任务世界动作模型(WAM),旨在解决现有基于百亿参数视觉语言或视频生成骨干网络的高训练成本与推理延迟问题。该模型在冻结的 DINOv3 编码器潜在空间内预测未来观测,将每个相机视图的特征压缩为少量 token,并通过轻量级预测器根据任务而非动作来预报这些 token。
推荐理由:该工作提出了一种仅用不到1亿参数且无需预训练的紧凑型世界动作模型,在RoboTwin 2.0和LIBERO基准上表现优异。
该论文提出一种针对搭载于航天器的混合软刚体机械臂的状态重构管线,其中远端连杆为腱驱动连续体机器人。问题被建模为基于关节编码器离散噪声测量和视觉感知管线的最大后验推理,并通过因子图转录以融合异构测量与刚柔运动学模型。
这篇预印本论文介绍了一种用于全电动重型机器人操纵器的结构 - 驱动协同设计的混合离散连续多目标双层框架。上层优化机械臂几何形状和驱动拓扑,下层针对每个关节搜索可行的电机、减速器和螺杆配置档案。
该研究提出利用符号摩擦距离度量力空间中的摩擦边距,并将其嵌入二阶锥规划(SOCP)序列以平衡物体并远离名义摩擦边界。实验表明,在物体属性变化及模型失配条件下,该方法相比固定边距或无边距策略均能成功执行双足非抓持操作。论文已被 IEEE Robotics and Automation Letters 接收,arXiv 版本为 v1。
该论文提出了 ActiveAlign 框架,旨在利用主动感知缩小真实世界到仿真再到真实的差距(Real2Sim2Real)。框架包含两个互补模块:ActiveAlign-Waving 通过主动手部运动和可微渲染进行手眼校准;ActiveAlign-Touching 则利用触觉反馈优化物体对齐以达到毫米级精度。
针对冻结或不可访问的机器人基础模型策略,该方法通过结构化代理分离步态周期以指导输入修复。在仿真 Go2 平台上,离线诊断将行走成功率从 259/640 提升至 429/640,在线修复达 382/640 且未触发故障集外的误报。研究结果目前仅基于单一策略和部分筛选的仿真故障集,硬件验证与通用性仍待开放。
Trace-WAM 是一种世界动作模型(WAM),旨在通过耦合未来视觉预测与动作生成来学习机器人控制表示。该方法引入未来 3D 运动预测作为辅助目标,监督时间点对应、图像平面位移和深度变化以描述操作动力学。