VBot Exo2Ego Policy:轻量数据采集与第三人称转第一人称视频生成
论文提出 VBot Exo2Ego Policy 模型,将第三人称视频转化为选定演员的第一人称观察视角,以扩充第一人称操作数据。系统包含支持双视角同步采集的轻量级流程,利用预训练扩散 Transformer 结合几何引导与语义掩码监督优化手物交互保真度。
论文提出 VBot Exo2Ego Policy 模型,将第三人称视频转化为选定演员的第一人称观察视角,以扩充第一人称操作数据。系统包含支持双视角同步采集的轻量级流程,利用预训练扩散 Transformer 结合几何引导与语义掩码监督优化手物交互保真度。
ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。
推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。
MotionSkill 通过从单目视频中恢复时间参考帧,并在仿真中将其适配至不同的目标机器人。该方法对齐根运动与身体地标,利用目标肢体长度在关节限制下求解逆运动学。研究者在 MuJoCo 平台上针对十种双足机器人分别训练了残差策略,使其能根据接触状态修正关节指令。实验显示,该模型在原始视频步态上完成了 98% 的初始状态任务,在遮挡上半身一秒的情况下完成率为 26%。
基于 Voltera NOVA 平台的参数化直接墨水书写流程,在 PET 和 TPU 基底上实现了含多层 Velostat 及全印刷碳架构的柔性力传感器。实验显示单层至六层 Velostat 器件呈现强非线性响应,最佳线性拟合 R²介于 0.475 至 0.641 之间,且无一致单调关系;八层印刷碳器件主要在 2 N 以下有效工作。
针对长视界操作中的不确定性问题,本文提出一种可见性感知任务与运动规划算法,将现有确定性求解器扩展至部分可观测物体重排场景。该方法在规划骨架中交错插入感知动作,并利用基于持久对象的记忆融合观测数据以构建物体网格假设和占据栅格图。在具有严重遮挡和部分可视性的真实桌面重排任务上评估表明,该算法优于未执行主动感知或缺乏持久记忆的基线方法。
BiScopeNet 是一种无需修改视觉编码器或语言模型的视频大语言模型增强框架,通过 FocusAlign 模块和 MetaLoss 损失函数实现左/右手角色及操作物体的显式识别。该框架基于 BiScopeCap-100K 数据集在多个视频大语言模型骨干上进行了评估,在子动作检测任务中取得了优于对应监督基线的最强聚合性能。相关研究已获 BMVC 2026 接收,代码与数据许可状态待进一步确认。
针对分离粘连、嵌入或受约束目标的需求,研究团队提出了 DexRemo 三指机械手平台,具备高力驱动、模块化指尖及三轴力传感能力。系统采用腕系中心坐标系统一表达指尖力,结合动作分块 Transformer 骨干网络,融合多视角视觉、本体感知与力觉观测以预测闭环动作片段。
论文提出 FLUX-mimic 视频动作模型,利用大规模预训练骨干网络与动作专家模块,在四款汽车制造基准任务及双机械臂平台上验证了数据高效性。该模型在灵巧操作平台超越所有基线,在夹爪平台达到 pi_{0.5}的平均成功率;针对可变形零件组装任务,仅需两小时的动作标注演示即可实现 77.5% 的成功率。材料为 arXiv 预印本,未报告真实工厂部署结果或量产状态。
针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。
推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。
该论文研究了在图像潜在空间中生成触觉是否保留了材料识别信息。实验发现,基于 Stable Diffusion VAE 的重建结果能保持物体身份(匹配准确率 76.7%),优于离散分词器重建,且接近真实触觉数据。研究据此选择了 SD-VAE 潜空间进行光到触的生成器训练,代码将在论文接收后发布。
RUMI 是一款适配 Robotiq 2F-85 抓取器的手持通用操作接口,通过可更换指尖传感器保留几何结构并支持接触前自然输入与接触后力测量。系统结合 VR 头显提供运动学可行性实时增强现实反馈及仿真与真机的力感知遥操作能力。用户研究显示,相比无增强现实方案,该接口在真实机器人可视化与姿态初始化下将关节极限违规样本数从 16/50 降至 3/50。
针对模仿学习下连续动作策略行为多样性不足的问题,该工作提出 GraSLA 模型,将 6-DoF 抓取检测提供的假设作为几何先验,结合空间与语言基础模型通过双向交叉注意力进行连续动作预测。在 LIBERO 基准测试中,该模型平均成功率达到 99.30%。
推荐理由:该工作提出将抓取假设作为几何先验融入连续动作策略,在 LIBERO 基准上实现 99.30% 成功率。
该系统在 NVIDIA Jetson AGX Orin 上控制 Franka Research 3,融合 RealSense D435i、YOLO11-seg 分割及深度反投影实现感知控制。
研究利用标准机器人、单目眼手相机及内禀力估计,建立弹性塑性材料变形的实用测量基础。基于 52 组数据训练的紧凑多层感知机在独立测试集上达到 1.857 N 均方根误差和 0.440 R²值。该成果为变形感知操作提供了实验依据,相关论文已获 IEEE ROBIO 2026 接收。
Helping Hand 是一款双段连续体机器人抓钳,配合电外科刀在单一 3.7 mm 工作通道内实现组织牵引与切割。研究通过在基座开槽让刀具伸出,利用反牵引力完成操作,并在离体鸡大腿上演示了完整的工作流程以验证其在内镜下粘膜剥离术中的潜力。
论文介绍 GenGenIK,一种将高层规划目标映射为机器人配置的生成式逆运动学方法。该方法支持移动底座、多个末端执行器和目标点,具备场景感知能力并能在部分观测下保持有效。实验表明其在双手动拾取和翻转等任务中,求解率和运行时间均优于现有方法,且允许灵活控制采样分布。
针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。
推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。
针对自回归视觉语言动作(VLA)模型需完整解码才能执行的动作压缩问题,本文提出 ActionCodec2,这是一种非神经流式分词器,能在保持轨迹重建误差在容差内的同时增量释放动作。
该研究提出一种利用刚性机械臂关节运动来驱动被动式肌腱驱动软延伸的方法,旨在解决工业机械臂在受限空间易损坏结构而软体机器人伸展范围有限的问题。作者开发了一种控制器,能够在保持末端执行器(EE)约束的同时调节软体尖端。
本文介绍了一个集成两个 LeRobot SO-101 机械臂、TurtleBot 4 底盘及 LeRobot-ROS 2 软件栈的低成本移动双臂平台,并以长周期的马桶清洁为案例研究。
推荐理由:该研究在低成本移动双臂平台上评估了多种 VLA 模型,发现 $ ext{ extpi}_0$ 表现最佳,而增强变体未见提升。
Latent Filter++ 框架利用铲取过程中的力矩测量直接推断颗粒物料的粒径和堆积密度等物理属性。该方法在 26 种不同物料上验证了泛化能力,支持少量样本适应并建立了属性与运输防溢出最大加速度之间的关联。研究展示了无需手工信号预处理即可从交互观测中演化表示的有效性。
针对双臂机器人操作中空间与时序耦合的协调难题,本文提出 BiPOP 框架,将大语言模型用于自然语言指令的形式化翻译,结合显式时空模型与时间偏序规划器生成逻辑一致且支持并行执行的计划。实验表明该方法在仿真长时程任务中优于开环及 ReAct 风格规划,并在真实双臂机器人 NICOL 上实现了端到端运行。
推荐理由:提出 BiPOP 框架,结合大语言模型与时间偏序规划解决双臂长时程任务协调难题。
论文提出一种将赛道编码为地形语义层的统一学习框架,解决两轮机器人越野导航难题。该方法在仿真中将导航任务嵌入训练环境,部署时利用相机和 LiDAR 数据重构该层;通过联合优化局部导航与运动控制,无需经典控制层级接口即可实现高速赛车与敏捷跑酷。
论文介绍了 ARTS 平台,这是一个完全由可购买部件构建的开源三臂系统,用于微创手术自主性研究。硬件包含两个持腕式 da Vinci 器械的 UR5e 机械臂、一个持立体内窥镜的 UR5 机械臂以及独立于软件的硬件停止功能。
论文提出 PolyMorphWBC 分层控制器,仅接收末端执行器轨迹指令即可生成四足机器人与六自由度机械臂的协同运动,支持跨四种不同机械臂构型及扩展工作域。该方法在 IsaacLab 仿真中达到 93.95% 任务完成率,物理 Go2-ARX5 系统上实现了基于语言条件的无视觉长距抓取演示。
针对模仿策略执行误差累积导致失败的问题,本文提出动作仿射世界模型(A²WM),利用预训练策略的标称行为,离线从扰动轨迹中学习局部动作敏感性。该模型直接预测完整规划时域内的任务几何变化,结合二次惩罚与线性约束构建凸二次规划问题,仅需一次模型评估和一次求解即可完成在线修正,且冻结策略与模型权重。
论文提出了 ILA 模块,旨在解决在人形机器人受限环境或人机物理交互中直接跟踪参考运动存在安全隐患的问题。该方法无需专用交互传感器,通过适配机器人的观测历史来预测由物理交互引起的参考修正,使机器人能在响应物理引导的同时保留预训练运动跟踪器的能力。
针对非完整机器人无法瞬时跟随传统向量场且易发生碰撞的问题,本文提出 DIVAL 方法,通过在工作空间局部施加微分同胚变形,使规划向量场的初始方向与机器人航向一致。数值仿真显示该方法在所有试验中均实现无碰撞收敛并避免控制不连续;地面车辆硬件实验进一步验证了其在不同目标、初始条件及真实扰动下的鲁棒性。
开源跨膝假肢旁路装置在无需鞋垫或侧向偏移约束下,仅经 10 分钟熟悉即可让受试者无扶手行走。实验显示单腿支撑时间缩短至 27%(对侧为 45%),摆动期膝关节最大屈曲角从 61°降至 36%,髋关节活动范围增至 51°,为下肢假肢研究提供有效工具。
论文介绍了 SunLightBots,这是一类亚克级、太阳能驱动的无缆软机器人,通过集成液晶弹性体与弹跳失稳机制实现能量积累与快速释放。系统在接近 1 Sun(100 mW/cm2)光照下运行,峰值比功率达 89 W/kg,并展示了持续的游泳、爬行和重复脉冲跳跃能力。
智元AGIBOT正式发布WITA-Omni(硅光动语全模态大模型),这是具身全模态端到端交互大模型,支持音视频、触觉、本体状态等多模态输入以及机器人动作、表情等输出。
Runway AI Inc. 昨日发布了其世界动作模型 Praxis-1,该模型现以 Apache 2.0 开源权重形式向开发者开放,支持商业使用。Praxis-1 是一个拥有 27B 参数的混合专家扩散 Transformer,旨在预测视频与动作,基于 Runway 的视频基础模型构建,强调先理解物理世界再学习行动。
推荐理由:Runway 发布 Praxis-1 世界动作模型,提供 Apache 2.0 权重与推理代码,支持多形态机器人及 NVIDIA 硬件部署。
加州大学圣地亚哥分校研究人员在 arXiv 预印本平台上发布论文,介绍名为 EgoThumb 的可穿戴机器人系统。该系统通过前臂电机驱动三个关节的机械拇指,利用小型摄像头捕捉图像并结合 AI 算法规划动作,旨在充当“额外拇指”协助用户固定物体以完成单手任务。研究团队表示尚未针对焊接操作本身进行测试,而是通过拧开瓶盖等简单任务探索基础能力,未来有望应用于焊接等场景。
大晓机器人发布双脑协同架构(Mundo世界模型+Astra通用模型)与具身RSI技术,用于酒店洗衣场景。Mundo支持物理参数建模以复刻可交互的孪生环境;Astra负责云端推理与技能生成,本地执行脑调用固化技能完成动作。
谷歌 DeepMind 于 11 月 12 日发布新一代视觉 - 语言 - 动作(VLA)模型 Gemini Robotics 2.5,重点提升机器人在复杂环境中的灵巧操作、任务执行可靠性及安全性。
推荐理由:DeepMind 发布 Gemini Robotics 2.5,在奔驰工厂概念验证中实现 96% 分拣成功率,并开放给合作伙伴。
Serve Robotics 推出 AV Delivery Developer Portal,通过公开 API 和沙箱环境允许开发者、企业及 AI 助手编程式召唤其 sidewalk 配送机器人。公司称此前系统仅通过第三方平台可用,现向任何需要高效自主最后一公里配送的方开放车队本身。开发者可在沙箱中模拟机器人并测试工作流,获批后可接入真实部署于美国及澳大利亚的车队。
大晓机器人首次将双脑协同架构带入真实酒店,完成从取衣到送回客房的连续服务。方案依托Mundo世界模型构建具备物理属性的数字场景进行训练,利用Astra探索技能并将有效操作固化为Skill以提升执行效率,引入RSI策略通过递归自我改进优化动作。真机实验显示烘干机内牛仔裤残留比例从平均48%降至32%,最好一次为19%。
MPS 针对人形机器人量产推出高集成度硬件方案,将灵巧手电机控制由双板升级为单板设计,预计整体成本降低约 30%。公司通过“芯片 + 算法 + 系统”三位一体方案,使客户从需求确认到获取产品仅需半周,大幅缩短开发周期。此外,MPS 在电源管理领域推出新一代集成大电流一级 Buck 电源及高功率密度模块,满足机器人大脑与关节的瞬时供电需求。
该论文提出了 CHORD 框架,旨在通过接触力矩空间指导强化学习以解决长视界灵巧操作难题。研究构建了包含 4,739 个任务的大规模仿真基准,并在其中 1,831 个任务上实现了 82.12% 的平均成功率。
针对现有机器人演示数据多在无人环境中采集导致策略缺乏人类感知行为的不足,本文提出 HABIT 大规模机器人演示数据集。该数据集包含超过 10K 个片段和 160 小时视频,覆盖 60 项任务,将任务分为协作、同事与监督三种角色以捕捉不同的人类 - 机器人交互模式。