V2-STRep:基于视觉语言模型的生成视频结构化任务表示用于可复用的机器人技能获取
该论文提出 V2-STRep 零样本框架,将生成视频的单一运动转化为可复用的机器人技能。方法利用视觉语言模型提供 2D 图像线索并结合 RGB-D 观测重构 3D 几何与抓取位姿,通过几何规则迁移运动并耦合轨迹优化以适配关节限制。实验在六个真实操作任务上验证了该方法相比基线提升了执行成功率,实现了技能的跨场景可靠转移及对变更部署指令的自适应。
该论文提出 V2-STRep 零样本框架,将生成视频的单一运动转化为可复用的机器人技能。方法利用视觉语言模型提供 2D 图像线索并结合 RGB-D 观测重构 3D 几何与抓取位姿,通过几何规则迁移运动并耦合轨迹优化以适配关节限制。实验在六个真实操作任务上验证了该方法相比基线提升了执行成功率,实现了技能的跨场景可靠转移及对变更部署指令的自适应。
针对气动抓取中优化问题高度非凸且数值目标难以完全表征成功条件的局限,本文提出在解析规划器内引入学习机制。首先从优化后的运动中学习轨迹先验,并通过基于 CEM 的过程进行进化;其次设计执行感知批评器,利用接触、升力和完成结果评估轨迹成功率,其冻结能量可作为可微抓取成本直接塑造轨迹生成。仿真与真实世界实验表明该方法提升了优化的可靠性、轨迹一致性及抓取性能。
FluxVLA Engine 是一个开源的配置驱动型工程平台,旨在将异构的具身策略组件转化为可复现的数据至部署工作流。该平台标准化了数据集、视觉语言与世界模型接口,集成了双臂仿真、自动数据生成及人机协同修正功能,并通过实时分块与加速推理后端支持物理执行。代码已公开于 arXiv 链接,解决了阻碍具身学习算法可靠部署的工程瓶颈。
推荐理由:FluxVLA Engine 提供统一配置驱动平台,整合仿真、数据生成与实时推理接口,解决具身策略从算法到部署的工程碎片化问题。
针对现有 VLA 模型在处理需记忆的长程任务时面临的瓶颈,本文提出 UniMem 框架,在单一骨干网络下统一高层视觉/文本记忆与低层控制。该方法利用事件分类器触发更新、关键帧编码器构建密集记忆并采用缓存技术降低开销。
推荐理由:UniMem 框架统一视觉与文本记忆,在仿真和硬件任务中显著优于固定间隔采样及分层 VLM-VLA 基线。
针对现有双臂协作抓取研究多局限于仿真且依赖完整3D物体模型的难题,该工作提出了一种包含多模态数据集、基于DDPM的关节级抓取配置生成模块及融合运动规划与在线优化的执行策略的真实世界框架。实验在双臂机器人上验证了该方法对未见几何形状和姿态物体的高成功率,消融研究确认了各组件贡献。材料已接受至2026年IEEE/RSJ IROS会议。
这本由斯坦福教学背景构建的书籍预印本,旨在为自动驾驶、具身智能及空间探索等领域的从业者提供统一的自主栈概念框架。全书涵盖计算机视觉与系统控制等核心主题,并配套大量 Jupyter Notebook 帮助读者建立从理论到部署的实践直觉。该资源面向学生、工程师及研究人员开放,是进入快速增长的机器人领域的重要基础教材。
针对现有行为基础模型仅能执行预定义动作且缺乏环境适应性的问题,论文提出 ReactiveBFM 实时闭环规划控制框架。该方法通过调度前缀采样课程缓解暴露偏差,使生成式规划器从不完美的物理状态中学习误差恢复;引入异步重规划机制解决自回归规划与高频跟踪的延迟失配,结合轨迹分块保证时空流畅执行。
推荐理由:提出 ReactiveBFM 框架,通过前缀采样缓解暴露偏差并解决规划延迟问题,在 Unitree G1 上实现零样本移动目标抓取与高成功率闭环控制。
针对物体质量与质心未知的情况,该研究提出一种摩擦感知的双臂箱体操作框架。系统结合在线惯性估计模块(从接触力矩估算质量与质心)与凸接触力优化模块(在椭球摩擦约束下通过二阶锥规划计算可行接触力),并包含离线轨迹精炼阶段以减少非期望接触。实验表明,该方法能在不同质心配置下保持稳定的摩擦接触并完成物体提升。
HEX 是一个针对全尺寸双足人形机器人的状态中心化框架,旨在通过全身协同控制实现复杂操作。该模型引入人体对齐的通用状态表示以支持异构机身的可扩展学习,并采用混合专家统一本体感觉预测器来建模全身协调与时序运动动力学。
推荐理由:提出 HEX 框架,利用人体对齐状态表示与专家混合预测器解决全尺寸双足机器人全身协调操作难题。
ThermoAct 是一个融合热成像信息的视觉语言动作(VLA)框架,利用视觉语言模型作为高层规划器来解析自然语言指令并分解为子任务。该系统旨在通过整合热数据增强对物理属性的感知与环境安全判断。材料基于真实世界任务场景的实验结果验证了该框架的可行性,表明其相比纯视觉方法在任务成功率和安全方面具有潜力。
PSANE 框架利用足 - 地形交互测量,通过高斯过程回归在线估计可通行区域并集成反应式控制器,在未知颗粒地形中实现安全导航。该方法仅依赖本体感知即可达成指定目标,性能优于基线方法,已获 IEEE/RSJ IROS 2026 接收。
针对现有仿真 - 现实联合训练依赖静态演示且泛化受限的问题,本文提出一种基于强化学习的联合训练框架。该方法先利用真实与仿真混合数据进行监督微调预热策略,随后在仿真环境中通过强化学习优化并辅以真实数据辅助损失以锚定策略、防止灾难性遗忘。
推荐理由:提出基于强化学习的仿真 - 现实联合训练框架,在真实桌面操作任务上实现成功率提升与数据效率优化。
针对陶瓷致动器脆性大、应变低的局限,本文提出利用聚偏二氟乙烯(PVDF)作为合规替代材料,并展示了一种新型制造工艺以制造多层 PVDF 致动器。研究通过第一性原理模型与实验验证了力随层数线性或超线性增加而位移立方级下降的权衡关系,证明在堆叠中使用更薄层可提升比功率密度。
频谱群机器人框架通过严格局部交互使机器人模拟扩散过程,仅需估算单个拉普拉斯特征值即可在 Kilobots 和 Pogobots 平台上对受限环境进行一次性形状分类。实验验证了该方法在真实噪声与稀疏连接条件下的可靠性,并揭示了群体规模与交互半径间的缩放定律以确保鲁棒估计。
该章节探讨机器人系统与 ambient intelligence 如何在 cluttered 和 dynamic 的养老环境中增强老年人照护,重点解决低数字素养人群的无障碍交互与隐私信任问题。评估指标涵盖每日误报率、故障恢复时间及系统长期可靠性,旨在支持符合 AI 监管要求的规模化部署。
六足机器人 SandBot(2.3 kg)在 1 mm 罂粟籽床上奔跑时,标准步态参数速度仅为硬地水平的百分之一。通过经验调整控制参数,其最高速度恢复至 30 cm/s,且性能对堆积分数φ和肢体频率ω高度敏感。研究提出了旋转行走模式的运动学模型,揭示了从行走到慢速游泳的相变机制及颗粒介质物理理解的必要性。
针对机器人基础模型评估成本高的问题,本文提出 Sensorimotor Alignment(S^2),一种无需训练的离线指标,用于衡量模型感官表征与物理运动几何结构的对齐程度。研究发现 S^2 与下游机器人任务成功率呈正相关,可作为低成本代理优先筛选模型或识别有潜力的视觉语言模型骨干网络。该工作将柏拉图表示假设扩展至具身智能领域,为理解模型成功原因提供表征层面的解释。
推荐理由:提出无需训练的离线指标 S^2,通过感知表征与物理运动几何的对齐程度预测机器人任务成功率。
论文介绍了OpenTac,这是一种新型传感器及其全栈生态系统,旨在支持高度定制化、可扩展且在下游机器人控制与学习中易于部署的触觉皮肤。核心贡献包括开发了一种具有结构化变形覆盖层的可扩展电阻式触觉皮肤,能将切向载荷转化为空间变化的压力;以及提供一款高度可定制的传感器设计工具,能从2D轮廓或抽象文本描述自动生成制造文件。
推荐理由:作者开源了可定制触觉传感器的硬件、CAD设计工具及仿真生态,并展示了在多种机器人上的部署与性能提升。
该方法通过共形映射将平面障碍物环境转化为圆域,利用广义根轨迹(GRL)生成 N 个可互换机器人与目标的无碰撞协同路径。在两个多边形工作空间及含十机十障场景中,实验对比显示其优于独立谐波规划与人工势场法,且能确保机器人闭环同步到达指定时间。代码已公开,论文为提交至 Automatica 的扩展版本。
针对视觉语言动作模型在执行任务时易出错且难以持续人工监督的问题,本文提出利用模型内部激活值进行进度监测的新思路。研究通过在演示数据上训练线性探针来估计执行进度,并在偏离预期进度时发出警报。实验在开源 VLA 模型 pi_0.5 及模拟与真实操作任务中表明,该方法在故障检测效果上与基于外部视觉语言模型的监督方法相当甚至更优,且无需依赖外部基础模型或失败数据训练。
该论文提出一种结合数据驱动运动先验与强化学习的混合框架,旨在解决类人机器人在复杂地形中的全身协调控制难题。核心方法包括一个自监督的、基于注意力的接触规划器用于预测未来身体与环境交互,以及一个接触条件化的跟踪器将计划转化为协调动作。
推荐理由:提出利用运动数据作为训练先验的强化学习框架,通过自监督接触规划器与跟踪器实现人形机器人在复杂地形的稳健移动。
论文提出 Echo 框架,旨在解决视觉语言动作模型(VLA)中任务完成与失败识别的问题。该方法无需帧级进度标注,将停止和失败信号作为动作块的两个维度进行联合去噪,以区分执行中、成功完成和失败三种状态。通过控制信号与动作的交互并加速信号去噪,使后续动作生成能基于更清洁的状态估计。实验表明,Echo 在真实世界操作任务中能准确预测状态并提升策略性能。
该论文提出了名为 WarpWeaver 的分布式实时规划算法,旨在解决非线性系统的多机器人协同最优控制问题。研究将原有的单机器人分散式树搜索框架扩展至多机器人团队,通过局部约束替代互耦并采用分散式列生成进行空间租金协商,从而在准静态状态下认证近优解。
针对大语言模型微调受限于高质量数据集稀缺及现有方法同质化问题,研究提出 SCOPE 自动化框架。该框架引入计划反馈纠错管线,利用规划器执行失败信号修正场景图逻辑不一致性以确保物理可行性。实验显示,基于 SCOPE 数据微调的下游任务与运动规划模型,成功率较使用 DELTA 生成数据的基线提升绝对值 12.33%。
VecTile 是一种低成本、6 毫米厚的柔性触觉阵列,能够进行三轴力感知(法向与剪切力)。该系统结合压阻层与被动硅胶凸起,无需专用设备即可在家制作,4x4 阵列成本低于 35 美元。
该论文提出稀疏拓扑度量图作为室内环境的高效结构表示,通过节点编码局部 3D 几何、边捕获可通行连通性,利用学习到的图匹配网络在跨会话中建立稳定对应。实验显示该方法在 Gibson 数据集上达到 77.1% 的成功率,在 3D-FRONT 场景变化下为 40.0%,内存占用比点级表示减少两个数量级以上,支持跨会话对齐与目标导向导航。
推荐理由:提出稀疏拓扑度量图方法,在跨会话室内导航任务中实现高成功率并大幅降低内存消耗。
论文介绍 FastHarness,一种经验驱动的机器人执行框架,用于自适应调度 GPT-6 Astra 对{π}0.5 策略的监督。该方法通过阶段记忆和已审查结果减少审查频率,并在发现错误时聚焦于纠错;验证恢复后继续常规执行并保留失败经验以指导未来干预。
推荐理由:FastHarness 提出经验驱动的审查调度机制,在不训练模型前提下将 GPT-6 Astra 监督的 Token 使用量平均降低 57.2%,并在四项仿真任务中将成功率从 80% 提升至 97.19%。
针对现有视觉语言动作模型过度依赖腕部视角、缺乏跨任务阶段全局与局部观察自适应协调的问题,论文提出 FocusVLA 框架。该方法通过历史动作预测未来交互意图并指导动态视图路由,在不修改核心架构的前提下适配现有 VLA 系统。
推荐理由:提出 FocusVLA 框架,利用未来意图引导动态视图路由,在 RoboTwin 2.0 及真实场景中显著提升 VLA 模型成功率。
arXiv 发布了一篇关于机器人集群控制的预印本论文,提出利用概率能量建模作为统一表示来协调多样化任务。该方法将基本群体行为编码为可复用的能量项,通过轻量级策略门控组合去中心化策略而无需重新训练。实验在无人机集群上验证了该框架在六个任务类别、10 至 100 个智能体以及两种硬件平台上的零样本泛化能力,仿真成功率达 96% 至 100%,且物理部署证实了对真实平台和无序环境的迁移效果。
推荐理由:该预印本提出概率能量建模统一框架,支持多任务零样本迁移与跨平台部署。
该论文介绍 GelSlim 5.0 指尖传感器,它利用固定摄像头和连续紫外响应接触层,通过切换光照在同一视点获取穿透膜层的视觉图像和接触敏感的触觉图像。系统引入 VisTacFusion 多模态 Transformer,结合不对称瓶颈融合与模态丢弃机制,在真实数据上验证了配对输入相比纯触觉或纯视觉推理能显著降低深度均方误差、角度误差和平移 L1 误差。
该论文针对外骨骼在复杂交互中难以可靠提供辅助的问题,提出一种结合多模态轨迹生成与可变导纳控制的双环策略。系统利用全身人类运动和外骨骼本体感知数据,通过去噪过程合成未来轨迹,并将任务描述作为语义线索。
推荐理由:该预印本提出结合全身运动与本体感知的双环辅助策略,通过轨迹方差量化不确定性以调节刚度,实验显示能降低肌肉激活与代谢能耗。
论文介绍 PiHand 框架,通过训练专家策略蒸馏出统一的手物交互先验,并在潜在空间进行有界残差探索以解决灵巧操作任务。该方法在 GRAB 和 DexYCB 数据集上实现了跨物体与轨迹的泛化,并能迁移至抓取和双手交接等未见过的任务,且各项指标均优于基线。作者将发布处理后的数据与模型检查点。
针对真实机器人数据稀缺的问题,本文研究如何利用廉价且程序化生成的合成数据为具身智能模型提供有效先验。作者构建了三种模拟机器人控制数学抽象的数据生成管道,将其作为 Transformer 的预训练先验。
针对动态场景中非马尔可夫特性导致线索消失的问题,本文提出 WholeBodyMem 方法,利用 SAM3 追踪任务物体并因果选择关键帧构建感知记忆,供动作专家通过交叉注意力读取。该方法在仿真和真机(宇树 G1)上均显著优于无记忆及均匀采样基线,将基础策略成功率分别提升至 72.6% 和 88.3%,同时改善了标准 SIMPLE 任务表现。作者开源了包含六个仿真与六个真机任务的 HuMeGo 基准。
推荐理由:提出 WholeBodyMem 方法,利用预历史记忆将仿真与真机任务成功率分别提升至 72.6% 和 88.3%,并开源 HuMeGo 基准。
论文提出 HiSTEVE 1.0,一种具备能力感知代理笼的层级视觉语言动作(VLA)智能体,旨在让虚拟具身智能体在 Minecraft 等开放世界中像人类玩家一样操作。
RGraph-Eval 框架通过统一的任务实体、交互与运动场景图,显式识别操作角色并验证三维路径形状以评估生成视频。该方法在 ShareRobot-SG(1,000 个场景)基准上对比 SVG2 和 SG-Ego,将图生成质量与人眼判断分离且代码即将开源。
该论文研究了在未见地图中扩散轨迹规划器的适应性问题,对比了共享适配器与领域特定专家适配器的不同配置。实验显示,在三个真实世界保留地图上,八种测试时路由方案均无法超越静态默认策略(即每场景使用同一专家),即使拥有选择最佳专家的预言机也仅能减少 0.9 米的平均横向偏移。
AstroBench 是一个针对固定基座机械臂在太空舱内进行自由浮动物体抓取与操作任务的开源基准。该基准整合了基于 MELFI 硬件的样本存储任务和基于 Robotic Refueling Mission 的加注服务任务,提供九个任务定义及 29 种目标组合,并包含经过元数据过滤的 Objaverse 资产库(8,414 个实例)和五种舱内视觉上下文。
本文提出了一种针对 2.0 公斤倾转旋翼四旋翼的仿真飞行栈系统。该系统采用六自由度非线性模型,利用级联 PD 控制器指挥前后及侧向倾斜角度,并通过迟滞分类器融合悬停、过渡等模式下的传感器数据以进行状态估计。
MPRF 因果模型结合电磁追踪与内窥镜视频,在 150 例结肠假人实验中实现 0.580±0.007 AUPRC,优于最强降维基线。完整多模态历史提供主要排序优势,残差项为原始融合带来小幅不确定的增量提升。该研究为操作员控制下的导航行为辅助奠定基础。