ReactWorld:一种用于具身视频生成的结构化交互响应模型
ReactWorld 是一种受思维链推理启发的具身视频生成模型,旨在解决机器人动作引发的场景变化中物体响应与任务意图及接触动力学不一致的问题。该模型在特征空间引入交互响应场预测器以明确参与者角色、未来运动响应强度及局部运动变化,并通过响应反馈适配器将预测位移转化为时间注意力位置偏差,从而引导跨帧的信息检索与物体特征更新。
ReactWorld 是一种受思维链推理启发的具身视频生成模型,旨在解决机器人动作引发的场景变化中物体响应与任务意图及接触动力学不一致的问题。该模型在特征空间引入交互响应场预测器以明确参与者角色、未来运动响应强度及局部运动变化,并通过响应反馈适配器将预测位移转化为时间注意力位置偏差,从而引导跨帧的信息检索与物体特征更新。
Online Adaptation to Latent Physical Properties for Learning from Demonstration 方法通过在线更新物理属性潜变量,使模仿策略能根据交互调整操作动作。真实与仿真实验显示该方法提升任务成功率,但在未见质心位置时仿真成功率仍约 30%。论文已接受 IEEE/SICE SII 2027 会议,代码与数据待公开。
针对服务机器人基于自由指令(含视觉特征与场景文本)检索并搬运日常物体的任务,研究提出 STARE 模型。该方法利用跨语言视觉提示增强对嵌入环境的场景文本解释能力,并建模指令中命名实体与对应物体间的复杂关系。
针对多指灵巧手操作多样物体的高维动力学挑战,本文提出一种方法,通过利用人类 - 物体交互数据集学习预测未来手 - 物体状态,将其作为强化学习的通用奖励项以减少任务特定工程依赖。实验在仿真和真实世界三种操作任务上进行,结果显示该方法在成功率和新对象泛化性上优于现有最先进方法,并验证了在不同机器人手上的跨具身兼容性。该论文已作为口头报告被 AAAI 2026 接收。
该研究提出 LumiTac 传感器,这是一种无摄像头的紧凑光电子触觉设备,通过空间分布照明与光谱编码结合实现六维力矩测量。传感器直径 12 mm、厚度 4.75 mm、重量小于 2 g,成本约 7 美元。
推荐理由:论文提出了一种紧凑的六轴光学触觉传感器,实现了高刷新率与低延迟,为机器人灵巧操作与人机交互提供了新的感知方案。
论文提出 FWIK 方法,通过考虑未来窗口内的多路点来选择冗余机械臂的逆运动学解,结合自碰撞模型与 MoveIt 2 规划器进行验证。在 Franka Emika Panda 和 KUKA LBR iiwa 两个 7-DoF 机械臂上,FWIK 在所有八种机器人 - 规划器设置中均实现了最短规划轨迹时长,且序列完成率介于 96.8% 至 100%。
推荐理由:FWIK 方法在仿真中显著缩短规划时间并提升序列完成率,为冗余机械臂的在线逆运动学选择提供了新方案。
该论文研究基于物理的动作迁移问题,即寻找能复现参考运动并满足接触动力学的机器人控制策略。作者提出 GRASP 框架,结合采样探索与梯度引导优化,通过拟合存档轨迹的局部二次成本模型来指导马尔可夫链蒙特卡洛更新,无需依赖可微仿真器。
OUCH 是一款腕戴式设备,利用堆叠气动囊和刚性压头在手腕提供可控的有害机械刺激以评估意识障碍患者的运动反应。实验显示,200 kPa 充气压力下其接触压强达 18,500 kPa,诱发不适所需施加力比商用手持测痛仪低约 89%。该研究通过有限元分析和变形测试床验证了设备在表面局部变形的能力,为客观神经学评估奠定基础。
该论文针对工业协作机器人和四旋翼无人机已知的平滑性要求,指出软体连续机器人的需求可能更高。为此,作者提出了一种$oldsymbol{ ext{C}^ ext{₅ﱿ}}$-平滑轨迹生成器,在满足运动学限制的同时生成无穷次可微分的轨迹,确保速度、加速度及高阶导数(如加加速度等)连续。研究特别关注了起止点所有导数为零的边界条件情况,并通过仿真和硬件实验验证了该方法的有效性。
该论文提出一种无需预定义接触序列的接触隐式全身优化框架,用于规划类人机器人在复杂参数化地形上的动态运动。通过引入新颖的接触约束和地面几何近似模型,将适用范围从平坦表面扩展至任意光滑曲面。
ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。
推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。
论文提出了 Ctrl-F 分层运动 - 力控制框架,旨在解决传统运动跟踪器仅知目标位置而不知如何与环境交互的问题。该框架包含统一运动 - 力控制器和高层在线力规划器,能在每个接触点(如手或脚)施加指定的三维力。
推荐理由:提出 Ctrl-F 框架,通过显式力指令增强运动跟踪,在硬件上实现大负载拖拽、推举及踢击等盲法基线无法完成的任务。
SurgTransfer 提出新型多步动作学习框架,仅从无标签视频中学习上下文不变的动作表示并实现跨手术场景迁移。该方法在 SurgToolLoc-2022 和 PitVis-2023 公开数据集上通过定量指标与外科专家定性评估验证了有效性。代码及实现细节已发布,旨在解决现有方法依赖真值运动学或特定任务标注的局限性。
LiberAI 发布了预训练于超过 220 万小时人类经验的 Liber-0 世界动作模型(WAM),旨在支持无需针对特定任务收集机器人演示的零样本机器人操作。
GlobalLogic 与 Haystack Robotics 联合打造了一款结合实时感知、边缘智能及导航技术的 AMR,旨在以最小人工干预提供医疗级紫外线消毒服务。该机器人具备“自主模式”与“跟随医护模式”,可安全在人群密集环境运行并适应复杂空间变化。项目源于新冠疫情期间对医院消毒规模化需求的响应,其底层架构(含 ROS 编程与传感器融合)已复用于其他工业场景以提升机器 fidelity。
超维动力携 SMASH、KAIBot、KAI Hand 与 KAI Halo 亮相 2026 香港金融科技周,其中 SMASH 系统实现毫秒级来球识别与多关节协同,球技逼近专业选手。
物理世界模型创企 LiberAI 于 11 月 4 日发布基于超 220 万小时人类经验数据预训练的世界动作模型 Liber-0。该模型采用混合 Transformer 架构,结合 LiberSense Glove 采集的人手动作数据与互联网视频,旨在减少对真机数据的依赖并提升跨本体泛化能力。
推荐理由:LiberAI 发布基于超 220 万小时人类经验预训练的世界动作模型 Liber-0,在零样本真机测试中取得 36% 成功率并优于 GPT-6 Astra。
arXiv 论文 PolicyIK 提出了一种基于强化学习的目标条件化策略,旨在解决机械臂高精度逆运动学问题。该方法利用姿态反馈更新关节位置参考,并通过两尺度误差与特定奖励机制实现毫米级残差消除与大动作保持。
论文提出了 PACT 框架,针对肌腱驱动机器人手在有限空间内兼顾出力、速度与反向驱动的需求,联合优化了腱绳路径、力臂和滑轮尺寸。该方法在四自由度手指原型上实现了不对称的 N+1 腱绳拓扑结构,在八种位姿下任务力覆盖率介于 0.88 至 1.00,预测的最小孤立关节屈伸带宽为 5 Hz。
IROS 2026 太空机器人专题研讨会上,NASA、JAXA 与学界专家讨论了机器人在月球勘探、载人飞行及轨道作业中的角色。NASA 将重心转向 2029 年具备初始运行能力的 MoonBase 项目,需机器人自主建造栖息地并利用原位资源;JAXA 的 MMX 任务要求采样机器人在信息有限条件下于 1 分钟内采集超 10 克月壤。
本文提出一种名为 Accessibility Field 的方法,利用流式稀疏 LiDAR 数据实时更新每一点的表面物理可达性标签。该方法通过 GPU 评估预计算的工具体积核与不同接近姿态下的碰撞情况,无需先验场景模型即可在工作站和 Jetson Orin 边缘设备上实时运行。
推荐理由:提出基于稀疏 LiDAR 的实时表面可达性场方法,在合成基准上 F1 达 90.8%,能区分可见但不可触及的表面。
arXiv 预印本论文提出一种从人类演示学习灵巧操作的框架,核心在于提取演示中的接触结构而非关节运动。该方法通过模拟 MANO 手模型恢复接触力,利用独立于手部形态的接触锚定重定向技术将数据迁移至不同机械手,并采用残差强化学习策略修复动力学可行性。
推荐理由:该工作提出无需真实机器人训练数据的三阶段流程,利用接触结构锚定将人类演示迁移至不同形态的机械手并恢复物理一致性。
针对 VLA 模型在新机器人部署时因硬件配置差异导致性能下降且微调易引发遗忘的问题,本文提出一种自监督方法,利用零样本 VLA 生成在线交互数据作为额外训练集。实验表明该方法在真实 ALOHA 机器人和 RoboTwin 仿真基准上实现了多任务策略的强泛化:既继承了预训练的蒸馏任务,又提升了专家微调后的指令遵循能力,同时缓解了非微调任务的遗忘现象。代码、检查点和数据已公开。
针对现有机器人感知受限于机载或固定传感器的局限,本文提出了 SensorPerch 范式,将传感器视为可由机器人自主拆卸和重新安装的独立物理实体。该系统包含一个可附着于多种表面的轻量级无线传感器平台及视点选择框架,使机器人能按需构建任务相关视点。实验在物体耦合感知(实现机器人不在场时的持续状态检测)和政策耦合感知(构建策略特定视点并达到与理想视点相当的成功率)两类任务上进行了验证。
论文介绍 DuoBench 框架,涵盖 FR3 Duo 平台上的十一项双臂操作任务,包含仿真环境与部分实物复现的标准化流程。研究提出分阶段评估方案以支持细粒度语义失效分析,并对比了多种模仿学习与视觉语言动作策略的表现。结果显示当前策略在交互初期、双臂并行执行及虚实迁移场景中仍面临挑战,且仿真能复现真实实验中的同类失效模式。代码与数据集已开源。
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
本文提出了一个在线轨迹和形态规划框架,使变形四旋翼能够仅使用2D激光雷达感知障碍物,从而穿越窄于其展开宽度的通道。核心创新在于从激光雷达数据中计算出的代价函数修正项,该修正项在狭窄通道的中线处抵消了障碍物的排斥成本,使其成为低代价走廊,而在其他区域保留完整的排斥成本。
针对异构机器人团队中不同动力学与控制限制导致的安全义务难以均等满足的问题,提出一种能力感知异质控制屏障函数(CA-HCBF)去中心化框架。该方法通过规范变换与反步法推导了适用于全向与非全向移动机器人的统一操作空间二阶控制仿射表述,解决了相对阶不匹配问题并保持了成对安全集的向前不变性。
针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。
推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
论文介绍了 DexCanvas,这是一个混合真实 - 合成数据集,包含 7000 小时的手物交互记录及每帧接触点与力信息,数据源自 70 小时光学动捕并通过 RL 策略在仿真中复现。实验显示该数据集使 Diffusion Policy 成功率从 67.5% 提升至 82.2%,并在未见物体上保持 72.5% 的成功率。111,857 条力标注轨迹已在 Hugging Face 公开。
论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。
推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。
论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。
论文介绍 DexHOT 方法,将灵巧操作形式化为手物构型转移任务,通过合成数据学习可复用的关系条件转移原语并闭环跟踪子目标。在包含 120 个物体的基准测试中,单策略对已知物体达到 80.5% 的转移成功率、未知物体为 69.4%;在真实灵巧手上完成 200 次真机转移成功率为 61.5%,并在六个演示引导任务中达成 90% 的任务成功率。
论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。
推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。
该研究引入 CRONOS 仿真基准,用于评估非回合制场景下对预训练视觉语言动作(VLA)模型的微调效果。实验表明,直接微调会导致因物体配置和末端执行器姿态偏移而失效;通过针对性重置分配可缓解此问题并提升长程操作泛化能力。
该研究提出改进的全局连通性维护算法,结合单智能体、钉扎及质心三种自适应监督策略,为多机器人系统提供触觉反馈以辅助人类操作。用户研究显示,该方法在多种场景下有效维持了智能体间约束并提升了人机协作性能。论文基于雷恩大学 IRISA 实验室的博士论文,于 2025 年 4 月答辩并通过 arXiv 发布。
该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。
推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。
论文提出一种动作条件潜变量前瞻(action-conditioned latent foresight)方法,构建潜在世界 - 动作模型以在执行前评估指令序列。
推荐理由:提出动作条件潜变量前瞻方法,在仿真与真实机器人任务中均优于基线,验证了潜在世界 - 动作模型的有效性。
针对 VLA 模型依赖昂贵真实机器人数据的瓶颈,本文提出 Action-Intent Transfer (AIT) 方法,通过两阶段流程从人类视频中提取并解耦明确的动作意图,在共享意图空间对齐人机域并将其解码为可执行动作。实验表明该方法比现有基线更有效地迁移人类知识且表现一致。