Learning in Orbit:基于热分割模型的星载训练与闭环姿态控制
这篇论文报告了在 6U CubeSat 卫星上成功部署的飞行实验,展示了在 NVIDIA Jetson TX2 NX GPU 上进行的热分割模型在轨训练与推理,以及利用该模型对实时热成像进行月球跟踪以实现闭环姿态控制。
这篇论文报告了在 6U CubeSat 卫星上成功部署的飞行实验,展示了在 NVIDIA Jetson TX2 NX GPU 上进行的热分割模型在轨训练与推理,以及利用该模型对实时热成像进行月球跟踪以实现闭环姿态控制。
针对现有物理基方法仅训练单条轨迹导致技能复用受限的问题,本文提出 DexMimic,这是一种跨多种手物交互轨迹联合训练的通用灵巧手部 - 物体追踪策略。该方法通过价值引导重置分配机制,在线调整初始化分布以优先处理困难阶段并选择高预期回报的重置状态。研究构建了涵盖训练、微调与泛化的基准,实验显示其在追踪成功率、训练效率及零样本泛化方面表现优异,并在真实世界灵巧操作平台上得到验证。
该研究提出 HumanVerse 数据集及从人类到机器人的对齐管线,旨在解决大规模收集机器人演示成本高的问题。通过引入 λ0 这一具身基础模型,利用对齐后的人类演示数据进行中期监督训练,实现了在 Unitree G1 上的零样本迁移。实验显示,该方法在 SIMPLE 基准上达到 90.0% 成功率,在真实世界任务中达到 62.5%,且增加全身人类数据能持续提升下游任务进展。
该研究提出 VLX-Go 方法,旨在解决机器人从单一目标到存在干扰者时的跟踪难题。模型采用冻结视觉编码器、Transformer 骨干及轻量级头,训练分视觉语言对齐、多模态推理和跟踪专业化三阶段,在 19,532 个 oracle 集上实现 55.80% 的干扰跟踪成功率,优于早期 OmTrackVLA 模型的 41.54%。
SenseNova 联合研究团队发布了 GPT-6-Astra 的评估报告,指出该模型在机器人操作与导航任务中展现了挑战传统专用模型范式的竞争力。研究通过大规模基准测试发现,尽管上下文学习(ICL)能带来前所未有的性能提升,但在真实部署中存在演示采集成本高、物理约束下无法以更长执行换取更高成功率等显著差距。
LIBERO-Industry 是一个基于 LIBERO 构建的新型基准,旨在评估机器人在高混合低产量(HMLV)等灵活制造场景下的操作能力。该基准将产品变体、物料流动变化、有限执行窗口和严格几何公差等工业约束转化为可控任务条件,包含静态到动态加载、动态到静态卸载及动态到动态转移三类共 216 个任务。
Hello Robot Stretch 4 与 A&K Robotics Cruz 自主舱将在 RoboBusiness 2026 研讨会上演示应对动态障碍、复杂光照及狭窄通道的室内导航能力。两位创始人 Aaron Edsinger 和 Matt Anderson 将分享如何平衡自主性与安全性以推动消费级部署。会议于 10 月 20 日在加州圣克拉拉举行,聚焦机器人从仓库走向日常生活的关键挑战。
浙江 Physical AGI 公司 NEXFORM 新元体宣布完成数千万元种子轮融资,由浙江大学机器人研究院专家团队领衔研发。公司推出了 SE 七轴机械臂和 W1 商业级交互式具身作业机器人。
Cognex 宣布完成对 RealSense 的收购,这是该公司历史上金额最大的并购交易。RealSense 的深度感知技术与开发者生态将补充 Cognex 现有的工业视觉组合,助力动态、移动及自主机器人技术在仓库等场景的应用。
上市公司江特电机发布公告,拟出资 1 亿元,联合关联方共同向具身智能机器人企业维他动力增资 3 亿元,参与其 Pre-A+++轮融资。交易对应投前估值 30 亿元,增资后双方合计持股约 9%,并计划联合开发灵巧手电机及关键部件,未来相关产品将向第三方整机厂商供应。公告披露维他动力 2026 年上半年营收约 1094 万元,仍处于业务培育阶段。
针对长程操作中多模态输入导致任务状态混淆的问题,论文提出了 TaskAnchor 这一轻量级适配器。该方法通过在预训练 VLA 的输入空间注入执行上下文,将语义执行阶段作为里程碑监督坐标前置到语言指令中,并利用残差更新融合细粒度历史视觉证据。
arXiv 预印本论文提出 w^2VLA 新架构,通过重构信息流将视觉、空间与技能信息以组合且可解释的方式调制机器人状态序列。该方法旨在解决当前 VLM 微调范式在零样本技能迁移到未见物体时的泛化瓶颈,实现声明性知识与程序性知识的解耦。材料为预印本版本,未报告真实部署结果或具体实验数据。
论文提出 BayesFP 框架,将预训练扩散和流匹配策略的受控轨迹生成形式化为贝叶斯后验采样问题,利用演示分布作为先验、推理时的成本函数作为似然进行倾斜。该方法复用 Feynman-Kac 校正器架构,无需重训基策略即可在推理阶段实现统一的后验采样。
论文提出了 BrickCraft 框架,旨在解决长周期互锁积木组装任务中高层规划与物理执行的鸿沟。该方法采用相对公式建模组装过程,将复杂任务分解为有限可复用的基础技能;利用情境化手动引导(situated manuals)将组装意图投影到实时机器人观测上,提供显式空间指导;并通过模块化执行流水线串联这些基于空间的技能以完成长周期任务。
推荐理由:提出 BrickCraft 框架,通过相对公式与情境化手动引导实现长周期积木组装技能组合。
DeVI 提出一种通过模仿文本条件生成的合成视频来学习物理基础的人机交互控制,利用混合模仿目标规避不可靠的三维物体运动重建。视觉 HOI 对齐模块进一步修正人体参考以适配生成视频与初始三维配置,显著提升重构质量与模仿成功率。实验表明该框架无需动作捕捉演示即可实现目标感知与多连杆物体的物理可行功能操作。
针对机器人穿越自然地形时接触力的动态特性,本文提出了仅凭本体感知进行动态地形表征的物理框架。通过控制不同冲击速度和腿刚度的跳跃实验发现,准静态假设在高速落地和刚度切换时会导致巨大的估计误差,且速度依赖的阻力无法解释这些差异;加速度依赖的附加质量效应(与脚底颗粒卷入有关)才是主导因素。
针对欠驱动软体机器人构型空间无限维且难以解析建模的问题,本文提出一种基于神经算子网络的闭环逆运动学算法。该方法将驱动到形变映射与形变到任务映射组合,利用无限维链式法则推导雅可比矩阵,并通过可微神经网络学习复杂的软体动力学模型。研究首先在恒定曲率段进行理论分析,随后在三纤维软体机械臂上验证了基于形态弹性理论和主动丝理论的算法有效性。
推荐理由:该文提出基于神经算子的无限维闭环逆运动学方法,解决欠驱动软体机器人的控制难题。
HumanX 是一个统一框架,无需针对每个任务设计奖励函数,即可将人类视频编译为具身智能机器人的通用交互技能。该框架包含两个核心组件:XGen 用于从单目视频生成物理合理的交互数据并扩充数据集;XMimic 则利用秒级演示学习可泛化的交互技能。
推荐理由:该框架将人类视频转化为可泛化的机器人交互技能,在五项任务中实现零样本迁移至物理机器人。
针对不同机器人手型在运动学结构和自由度上的差异导致策略迁移困难的问题,论文提出 DiffMorphGrasp,这是首个将手部形态信息融入生成过程的扩散框架。该方法将多样机器人的抓取映射到参考手姿态以建立公共学习空间,并在训练过程中基于手部构象图编码的运动学结构及物体几何形状对抓取生成进行连续条件约束,同时引入关节级误差损失函数限制生成结果。
该论文提出了 SAP-CoPE 框架,旨在解决自主移动机器人在有人类活动的室内环境中因车载感知受限及需兼顾人类心理舒适区而导致的导航难题。研究通过不确定性优化问题从相机观测中估计 3D 人体姿态(可选融合稀疏 LiDAR),并在模型预测控制(MPC)框架内构建个人空间场,使机器人能同时满足物理安全与社交舒适度。
该项目利用三个肌肉的肌电信号,通过浅层神经网络在五手势分类任务中取得时间域 94.8%、频域 93.2% 的平均准确率。系统采用双舵机提供三自由度运动控制,并集成力传感器与振动马达实现触觉反馈。该低成本设计旨在满足发展中国家截肢者的实际需求。
论文提出 AlphaNIST 框架,在仿真环境中训练单一策略从零学习 NIST Assembly Task Board #1 上的全部 20 个装配任务,整体训练成功率达 98.2%,无需演示、进度塑形或脚本化原语。该策略还能在同一回合内完成十对零件的无序装配,并涌现出选择后续抓取、利用几何重定向及分步准备等灵巧与规划类行为。材料为预印本,链接指向 arXiv。
推荐理由:该预印本报告在仿真环境中,仅凭稀疏二元奖励和任务多样性训练出单一策略完成 NIST 装配板全部 20 个任务,无需演示或进度塑形。
该方法结合迭代协方差引导与 L₁ 分布鲁棒自适应控制,在包含重力、太阳辐射压及扩散不匹配的蒙特卡洛试验中,将禁入区违规率从 32.7% 降至 0.2%,物理碰撞率从 16.4% 降至零且无执行器饱和。研究通过匹配名义规划模型与真实动力学差异,实现了小行星近距操作下的风险感知避撞。
针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。
推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。
Noise Space Learning for VLA Adaptation 方法将噪声空间学习作为接口适配不同算法,并实例化 PPO、SAC 和 AWR 三种策略。研究在 LIBERO、RoboTwin 及四项真实机器人操作任务中验证了该方法在交互、计算和执行约束下的有效性,同时提供了信息论分析与资源部署建议。
本文提出了名为 SAS 的无地图稳定控制策略,专为四足履带机器人设计。该方法结合车身滚转/俯仰稳定项与防卡滞项,仅依赖 IMU、关节角度及运动状态信号,避免了里程计积分导致的漂移问题。作者在仿真及真实障碍物环境中进行了大规模对比测试,结果显示 SAS 的通行质量可与最先进的基于地图的控制器相媲美;特别是在高草遮蔽 LiDAR 传感器的隐蔽障碍场景下,SAS 成功通过而传统方法陷入卡滞。
论文提出 SmolWAM,这是一种从 Cosmos Policy 衍生出的潜在世界 - 动作模型(latent WAM),旨在解决视频扩散 Transformer 在资源受限边缘设备上计算成本过高的问题。
推荐理由:该工作提出 SmolWAM,通过保留预训练主干并重构推理接口,在边缘设备上实现了高效的世界 - 动作联合预测。
该系统利用单根不可伸长缆绳穿过负载上的无摩擦挂钩,实现非刚性连接的双四旋翼器协同操作。研究构建了参考生成框架以耦合运动与几何约束,并通过实验验证了轨迹跟踪及正张力维持能力。论文为 arXiv 预印本(arXiv:2610.13665),代码与数据暂未开放。
论文介绍 AutoBio+ 框架与 DexBioLab 基准,旨在自动化生物实验室中的机器人灵巧工具交互。该基准涵盖 14 个任务、4 种机器人本体,包含功能工具使用、精密操作及仪器操作等场景。
针对 VLA 策略输出稀疏目标导致的延迟和不规则到达引发的突兀动作问题,该研究提出 JitterVLA 基准,通过回放相同指令和到达轨迹至替代控制器以隔离控制器效应。
ATHLETE 是一个从通用运动数据和普通网球视频中学习反应式人形网球技能的框架。该方法结合 LAFAN1 步态与视频衍生的击球动作,利用轨迹引导的运动匹配构建任务条件化的全身参考,并通过基于物理的教师 - 学生学习与在线 DAgger 蒸馏转化为反应策略,最后经 PPO 微调实现无需参考运动输入的部署。
推荐理由:该工作提出 ATHLETE 框架,利用通用运动数据与视频演示学习人形机器人网球技能,在真实机器人上实现高命中率的多拍对打。
该论文针对依赖记忆的机械操作任务,提出一种双流记忆架构以追踪执行状态并恢复不可观测的视觉证据。模型包含一个无任务特定的门控 DeltaNet 用于压缩历史为时间令牌,以及一个任务条件化的检索器保留高相关帧并通过线性多尺度融合编码空间令牌。
本文介绍了一种名为 AFCE 的方法,将 VLA 策略的预测目标从单纯的动作片段转向未来物理效果(Effect)。该方法利用离线构建的效果令牌和流匹配模型,结合状态条件解码器生成可执行动作。在 DexJoCo 基准测试中,AFCE 整体成功率达 50.97%,分别比 pi_0.5 和 UVT 提升 11.82 和 15.21 个百分点,并在所有五项双臂任务中领先,验证了效果监督在灵巧操作中的价值。
针对为每个机械手重复采集特定任务数据的难题,本文提出 Human2Dex,一种将人类观察与运动语义同具身执行解耦的手腕中心演示接口。该方法通过局部外观适配和共享 21 点手部表示对齐观测,利用融合的人手动作重定向构建可执行监督,并引入握持口袋交互表示(GPIR)表达物体相对位置。
推荐理由:提出基于手腕的人机演示接口,实现跨机械手复用自然人类数据,在六项任务中达成 80.8% 至 90.8% 成功率。
该研究针对质量与万向节刚度未知的推车任务,提出 Belief-Overlap Partial Inversion(BOPI)框架,将在线估计、基于流的规划与全身控制闭环。
推荐理由:提出 BOPI 方法解决信念更新时的重规划冲突,在仿真与硬件上显著降低误差并实现非完整约束移动。
论文提出了 VICAR(Video Imitation with Contact-Aware Retargeting)框架,旨在从第三人称人类视频中学习类人机器人的行走 - 操作交互技能。
论文提出 EgoReveal 框架,旨在解决日常环境中物体常被部分遮挡的问题。该框架通过模仿学习,从以自我为中心的演示中同时习得视点重定位策略与物体操作动作,利用两个模仿策略根据目标可见性动态切换:一个预测未来的相机 - 机械臂姿态序列以调整视角,另一个基于物体关键点与控制历史预测未来控制指令。
推荐理由:提出 EgoReveal 框架,通过模仿学习从以自我为中心的演示中同时习得视点重定位与操作动作,解决部分遮挡下的任务可靠性问题。
针对人形机器人在搬运任务中受未知负载影响导致平衡失稳的问题,本文提出一种集成重心模型预测控制、自适应模糊平衡控制器及基于三积分器模型的最优姿态规划的架构。实验表明该框架在显著负载不确定性下能实现稳定的降低、抓取、提升与放置行为,相比非自适应基线提升了平衡鲁棒性并减少了姿态转换时的跟踪退化。材料为预印本,已接受于 IEEE Humanoids2026 展示。
论文介绍 EASG(Explicit Action-Space Grounding)框架,旨在解决将预训练视觉语言模型转化为通用机器人策略的挑战。该方法通过将工具中心点(TCP)坐标系投影到手腕相机观测中,并将连续机器人动作表达为 VLM 原生文本生成接口,使 VLM 能直接利用其现有的视觉 - 空间推理能力生成可执行的动作,无需机器人动作预训练或额外动作模块。
推荐理由:提出 EASG 框架,利用预训练 VLM 原生文本生成接口实现零样本机器人操作,无需额外动作模块或预训练。
针对未知物体的安全与轻柔抓取难题,该方法提出一种在线数据驱动的预测控制框架。系统采用一对紧凑型单通道触觉传感模块实时表征夹持器与物体的动态交互,无需先验知识或离线训练。