FAVR:面向视觉语言动作策略的流感知视觉残差对齐方法
预训练的视觉表征虽富含时序信息,但有效整合到现有视觉语言动作(VLA)策略仍具挑战。本文提出 FAVR,一种轻量级框架,通过线性测试时训练(TTT)维持紧凑的时序视觉状态,并在基于流的动作生成过程中检索动作条件的视觉特征。
预训练的视觉表征虽富含时序信息,但有效整合到现有视觉语言动作(VLA)策略仍具挑战。本文提出 FAVR,一种轻量级框架,通过线性测试时训练(TTT)维持紧凑的时序视觉状态,并在基于流的动作生成过程中检索动作条件的视觉特征。
针对 GelSight、DIGIT 等光学触觉传感器因成像几何和背景差异导致观测不一致的问题,论文提出 TacBridge 框架。该框架利用跨传感器掩码预训练学习时空表征,并在同传感器与跨传感器重建任务上联合训练,实验证明了其跨传感器泛化性与下游感知任务的迁移能力。
推荐理由:提出 TacBridge 框架,通过跨传感器掩码预训练学习统一触觉表征,验证了多传感器间的泛化与任务迁移能力。
针对欠驱动车辆安全约束设计困难且保守的问题,本文提出一种将验证过的相对坐标屏障迁移至同一家族中所有障碍物的方法。核心贡献包括表达状态相对于每个障碍物的广义闭包条件、将缺失信息表示为残差的提升定理,以及用于识别对称性不足情况的秩检验。作者在双积分器、平面飞机和 12 自由度四旋翼上验证了该方法,证明其能在无需重新训练的情况下迁移到新地图中,并在部署与快速启动实验中有效。
该研究针对人形机器人模仿运动演示中的风格难题,提出一种基于速度条件的全身控制策略。方法通过强化学习训练策略,利用参考运动监督奖励和评论家网络,但不向演员网络提供关节轨迹或进行教师蒸馏,从而将演示风格编码进策略中。
针对人形全身控制中运动追踪策略学习需大规模计算资源且泛化难的问题,本文提出 QTOP 方法,通过引入基于状态和参考对的条件分布优势估计来提升样本效率。实验表明,该方法在仿真及真实世界场景中均优于离线与在线强化学习基线,性能提升最高达 10%。研究还建立了 QTOP 的扩展定律,发现对于中等规模的 GPU 小时量级,数据集规模对性能影响有限。
该综述建立了机械负载传递、光编码读取与触觉推理的统一框架,评估了反射式、波导及光纤光栅等多种架构在力估计、接触定位和打滑修正中的表现。研究指出高灵敏度仅在变量可识别时有效,且空间覆盖与时序反馈需在系统级综合考量,为选择非成像光学触觉架构提供了校准转移与任务验证依据。
该论文综述了利用基础模型的机器人奖励模型(RRM),将其按输出语义分为五类,并指出当前评估器难以区分任务完成度与执行时序的缺口。为此,作者构建了包含 1,117 条闭环真实视频的新基准 RRM-Bench-1K 及开源工具集 RRM-Hub,支持对 27 种现有评估器的统一测试与新方法验证。
论文提出 ACiT(Proprioceptive-Prior Action Chunking with Inverted Transformers),旨在解决现有方法将本体感知与视觉同等条件导致信号被淹没的问题。
针对异构触觉传感机制阻碍跨硬件迁移的问题,该研究将触觉表征锚定在由牛顿力学支配的六维力矩上,构建了包含 24 种传感器的超大规模数据集(超过 1 亿对观测与力矩测量)。
SG-ODOM 框架利用稳定性门控机制筛选接触更新,仅在足部达到稳定支撑条件后触发估算修正。该方法在 GrandTour 数据集户外序列上评估显示,相比基线估计器将相对姿态误差(RPE)降低最多 25%。代码与视频已公开,适用于四足与人形机器人平台。
针对夹爪难以抓取的存储箱、椅子等大物体,作者发布了首个大规模单臂拾取数据集 WAG,包含 793 个物体共 1.7M 种关节配置。在此基础上开发了 ARMFUL 流水线,利用在 WAG 上训练的扩散模型从点云生成全臂抓取位姿,并由运动规划器确保无碰撞执行。
针对长视野视觉语言导航中指令追踪困难及执行器在部署时遭遇策略诱导的状态偏移问题,本文提出 LeaP-VLN 系统。该系统耦合进度感知执行与独立进度验证,通过计划 - 执行 - 验证 - 恢复的闭环机制处理子任务完成确认与路线偏离后的双阶段恢复。
该研究引入配备髋关节机械止动器的平面 X 型步行器,利用恒定扭矩驱动在下坡面生成高稳定性的轮式步态。数值仿真表明,在四相运动周期中两相不稳定但整体呈现渐近稳定特性。论文已发表于 IEEE ICRA 2026 会议论文集,作者版本修正了参考文献中的姓名错误。
该系统基于 ROS2 架构,结合 Grounding DINO 与 Nav2 栈,在 Gazebo 仿真环境中实现了无需特定训练的端到端语义导航。实验显示 TurtleBot3 机器人成功执行了全部测试的自然语言指令并探测到五个目标中的三个,但性能受限于检测不确定性与深度定位误差。研究证实轻量级 CPU 架构具备可行性,同时揭示了开放词汇感知与传统导航管线集成的当前局限。
论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。
推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。
针对人类视频数据缺乏显式动作相关表征的挑战,本文提出 LSA 分层预训练框架。该方法通过 Lift 阶段将 2D 观测自适应对齐至 3D 基础模型中间表征以获取稠密表示;See 阶段引入深度图重建与手部区域提示以增强几何感知与交互热点关注;Act 阶段实现鲁棒的机器人操作。
针对预训练机器人策略在困难任务中失效的问题,该研究提出 ReRead 方法,在冻结主干网络的前提下,利用校正器重读当前及前两个缓存的表征以预测动作残差。该方法无需图像输入,仅基于 RoboTwin 2.0 任务的离线演示进行训练,额外延迟仅为 4.17%。
针对流式视觉语言动作(VLA)模型在使用同策略强化学习时存在的推理延迟高和采样随机性低的问题,本文提出 VLA-SSD 方法。该方法通过布朗路径条件单跳生成器,将预训练的流匹配动作头蒸馏为随机一步策略,并推导条件动作密度以支持基于似然比的后训练算法。
论文提出了 XMimic 和 XSoma 两个模型,利用世界模型优化策略并通过并行计算将类人机器人在粗糙地形的运动追踪与移动训练时间压缩至一分钟以内。
推荐理由:原文介绍了利用世界模型与并行计算将类人机器人运动追踪训练压缩至一分钟内的方法,相关团队可据此评估其加速潜力。
论文针对 Koopman 控制器在潜空间稳定但无法稳定非线性物理系统的矛盾,提出 Tangent-Invariant Koopman (TIK) 方法。该方法通过离线估计局部植物线性化并强制一阶匹配,恢复拟合的 LQR 增益并在大机动中捕获状态依赖的动作。
推荐理由:提出 Tangent-Invariant Koopman 方法,通过一阶匹配解决潜空间线性模型在非线性物理系统上的稳定性问题。
研究引入学习到的动力学模型控制牵引挂车,在四个仿真环境中闭环跟踪实验显示,相比解析基线模型,该方法在所有测试设定点均实现了更接近目标的速度和更低的挂钩角度均方根值。在八种反向配置中,七种的完成率更高,有效解决了倒车不稳定及路面摩擦等难测量因素带来的控制难题。
论文提出了 NF-VLA 模型,结合条件自回归归一化流与基于分数的动作细化技术,利用单一学习到的密度支持策略训练、动作生成及修正。该模型在 LIBERO 基准的四个标准套件上达到 98.35% 成功率,在 LIBERO-Plus 上达到 72.6%,且无需机器人预训练或额外微调。
推荐理由:该工作提出基于自回归归一化流的 VLA 基线模型,在 LIBERO 基准上实现高成功率且无需额外微调。
OntoCBF 将领域本体与动力学特征编译为单智能体二次规划的安全滤波器,利用描述逻辑在线推导约束以覆盖新类。仿真显示,面对未见类别时传统滤波器违反安全率达 89-100%,而 OntoCBF 在含 32 机器人场景中仅违反 20-70%。结合多智能体 PPO 策略后,不可行二次规划率降低 18-41%,且所有违规均源于冲突而非能力高估。
DexFormer 2.0 是一种针对跨本体灵巧抓取的单一强化学习策略,通过标准关节接口映射、运动学树偏置注意力及 Transformer-XL 记忆模块,解决不同机械臂与手爪组合间的动力学差异。
论文提出 ReGround 方法,旨在解决视觉语言动作(VLA)模型在部署后因执行器变化(如重新安装、机械磨损或指令延迟改变)而失效的问题。该方法保持 VLA 冻结,通过任务无关的电机 babbling 学习部署机器人的动力学,并在检测到偏移时追踪策略意图运动以重校准。
该论文提出一种无需束缚手指的多模态框架,利用基于 Vision Transformer 的视觉编码器和基于 Transformer 的 EMG 编码器,配合自由度(DoF)查询 Transformer 融合解码器,实现从眼动 RGB 图像和 128 通道前臂高密度表面肌电信号对 20 个手部关节角度的连续回归。
论文介绍 RoboKit,这是一个基于 GPU 并行多种子求解器的高性能通用工具包,旨在加速机器人学习中的并行可微分优化。材料指出其在七个任务上比特定任务基线快 2-60 倍,利用混合表示法在 2.97 秒内优化了 4096 次抓取,并将优化成本转化为策略蒸馏和强化学习的训练优势,使蒸馏策略精度相当时速度快 9-240 倍。
论文提出 Cleanly-DINO 模型,旨在解决如清洁等由视觉状态变化定义的任务表征问题。该方法在给定任务相关区域掩码和冻结 ViT 特征的基础上,拟合投影以隔离任务空间并构建进展度量指标。
EgoSwarm 是首个能从人类群集演示中学习去中心化多机器人协作的机器人学习框架。该框架利用无机器人的多人第一人称系统收集了超过 50 小时的合作经验,并通过 Swarm Interaction Packet (SIP) 和 Swarm Interaction Token (SIT) 从分布式观测中恢复跨智能体交互关系。
针对视觉强化学习(RL)策略在着陆垫外观变化时失效的问题,该研究利用二值目标掩码保留空间表征并引入文本提示来指定目标。实验表明,仅通过修改冻结 DrQ-v2 策略对应的 SAM 3 检测器提示词,即可将香蕉主题着陆垫的成功率从 12.0% 恢复至 68.4%,而无需更新权重;相比之下,填充缺失掩码或修正掩码质心与面积的效果有限。
该论文提出 PlanDiv 模块,通过引入轻量级规划器生成 K 个潜在计划假设,使视觉语言动作模型的多个候选动作差异源于规划而非噪声。在固定主干网络与训练数据下,该方法将 CALVIN 基准上五步任务链成功率从 56.9% 提升至 69.9%,并在 LIBERO-Long 和真实 Franka 机械臂实验中验证了其在多解任务中的优势。材料为预印本论文,未提及开源代码或模型权重。
推荐理由:提出 PlanDiv 模块,利用潜在规划假设提升 VLA 模型在测试时的多候选执行成功率。
本文提出一种开源的低成本测试床,用于测量机器人在无人工重置干预下的实际练习成本(时间、关节磨损及人工注意力)。研究构建了一套包含视觉成功检测与账本记录的硬件系统,记录了每次尝试的详细数据。
推荐理由:作者构建低成本测试床量化机器人练习的隐性成本,提出基于实测收益的任务调度方案并验证其有效性。
CRAFT(Contextual Requirement Adaptation with Frozen Tools)框架在仿真环境中研究机器人如何在不重训技能的情况下学习局部需求。该框架通过结合记忆、显式规则和自适应学习者,在相机基底的模拟中减少了提问次数并提升了效用奖励。所有实验证据均源自生成需求的仿真环境及包含执行失败和超时的评估数据,真实部署与泛化能力尚待验证。
针对独居老人需求,该系统基于 Unitree Go1 平台构建,融合陪伴、危险感知与应急三种模式。通过规则升级策略结合视觉语音输入判断风险等级,经 105 次自动化及 25 次物理阶段试验验证决策逻辑,在超时未确认时自动触发应急介入。该设计已接受 Australasian Conference on Robotics and Automation (ACRA) 会议录用。
AgenticJevNav 架构在六类仿真任务中达到 73.33% 成功率,较次优基线提升 21.67 个百分点;真实世界 GENISOM L1 四足机器人部署在 30 次试验中成功率为 70.0%,包含有界搜索报告。该研究通过结合目标规划、证据记忆与事件触发验证,展示了在部分证据下维持目标并适应执行失败的能力。
论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。
推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。
该论文提出 EasyNav 架构,通过显式共享导航状态解耦映射、定位、规划与控制模块,实现表示无关的流水线替换。作为开源 ROS 2 框架,其在室内激光感知和室外 GPS+3D LiDAR 多楼层场景的真实机器人实验中,相比 Nav2 将反应延迟从 377ms 降至 33ms(室内)及 8ms(室外),并降低了 CPU 与内存占用。
这篇论文提出了一种名为 Recovery-Guided MBD 的框架,旨在解决安全关键型高速足式运动规划中短预测视界与安全前瞻性的平衡问题。该方法将学习到的终端恢复评估器融入轨迹优化,并在采样阶段结合视界内约束与末端可恢复性进行可行性引导细化。
提出一种无需先验知识的分布式多机器人策略,通过边界跟随与基于航向误差的推力调节实现未知形状物体的目标导向运动。该方法在凸与非凸形状及动态变质量分布下验证有效,且对摩擦不均和轮滑等外部干扰具有鲁棒性。系统路径效率高、耗时一致,运输时间随可用推面数量(取决于物体尺寸、形状及安全距离)变化。
AlphaTruck 是一个集成多模态感知、嵌入式 CPU-GPU 计算和车载自主栈的 1/5 比例大型车底盘平台,旨在解决全尺寸车辆昂贵且 RC 车辆负载受限的问题。该平台在仅依赖车载感知与计算的情况下,实现了在非结构化地形上 6-10 m/s 的高速自主导航,适用于测绘、搜救及农业等商业与防御任务。材料为预印本论文,详细阐述了该平台的架构设计与平衡移动性、感知、算力、负载及可维护性的工程挑战。
推荐理由:AlphaTruck 平台在 1/5 比例车架上实现了高速非结构化地形自主导航,为算法开发与部署提供了新的硬件基准。