PartiGen:面向语言条件的人形运动生成的部件感知表示
论文介绍 PartiGen,这是一个将解剖结构融入全身运动表示的部件感知潜在扩散框架。模型通过特定部位的注意力处理掩码帧特征并融合局部肢体信息与全身上下文,基于文本和运动历史自回归生成运动原语。
推荐理由:提出 Part-Aware 潜在扩散框架,在 Unitree G1 上实现肢体级 FID 降低与时长预测误差减少。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
论文介绍 PartiGen,这是一个将解剖结构融入全身运动表示的部件感知潜在扩散框架。模型通过特定部位的注意力处理掩码帧特征并融合局部肢体信息与全身上下文,基于文本和运动历史自回归生成运动原语。
推荐理由:提出 Part-Aware 潜在扩散框架,在 Unitree G1 上实现肢体级 FID 降低与时长预测误差减少。
针对现有视觉语言模型(VLM)在同策略蒸馏中过度依赖文本答案提示而忽略真实视觉证据的缺陷,本文提出 Contrastive Vision On-policy Distillation (CV-OPD) 方法。
推荐理由:提出对比式同策略蒸馏方法,通过引入负样本教师与差异感知门控机制,解决现有 VLM 后训练依赖答案捷径、忽视视觉证据的问题。
论文介绍 Grounded-Dreamer 框架,旨在解决机器人操作策略学习中大规模多样化动作标注数据稀缺的问题。该方法结合视频生成模型的视觉真实性与仿真器的物理引擎,从少量描绘任务初始状态的真实图像出发,自动重建任务相关物体和相机几何并在仿真中对齐,进而收集符合物理规律的轨迹。
推荐理由:该工作提出利用视频世界模型与物理引擎结合,从少量真实图像生成带物理约束的操作数据以训练策略。
针对为每个机械手重复采集特定任务数据的难题,本文提出 Human2Dex,一种将人类观察与运动语义同具身执行解耦的手腕中心演示接口。该方法通过局部外观适配和共享 21 点手部表示对齐观测,利用融合的人手动作重定向构建可执行监督,并引入握持口袋交互表示(GPIR)表达物体相对位置。
推荐理由:提出基于手腕的人机演示接口,实现跨机械手复用自然人类数据,在六项任务中达成 80.8% 至 90.8% 成功率。
针对现有视觉语言动作模型缺乏显式监督、世界动作模型存在额外推理成本及误差传播问题,本文提出 Forward Dynamics Models(FDM)。该模型通过动作到未来的范式,利用真实未来状态监督策略学习,在推理阶段完全跳过未来生成以降低成本。实验表明,该方法在仿真和真机任务上均有效,在 LIBERO 基准上平均成功率达 99.4%,相比 VLA 和 WAM 方法在现实任务中提升最高 13%。
推荐理由:提出动作到未来范式,通过动作特征条件化预测未来状态,避免误差传播并跳过推理时的生成成本。
该论文介绍 Residual Action Tokenization (ReAT) 方法,通过利用解码重建结果作为反馈来构建下一个 token,使每个 token 在修正当前动作重建中发挥显式作用。
推荐理由:提出残差动作分词方法,在仿真与真实环境中提升自回归策略的任务成功率。
该研究针对质量与万向节刚度未知的推车任务,提出 Belief-Overlap Partial Inversion(BOPI)框架,将在线估计、基于流的规划与全身控制闭环。
推荐理由:提出 BOPI 方法解决信念更新时的重规划冲突,在仿真与硬件上显著降低误差并实现非完整约束移动。
世界动作模型(WAMs)继承了预训练视频生成模型的先验,但其变分自编码器(VAE)的视觉表征是为重建优化的而非操作。本文系统对比了多种视觉表征、五种融合机制及特征组合,发现强通用视觉表征能提供更广鲁棒性;通道级联合预测取得最高平均成功率;额外信息源需根据任务相关性选择。
推荐理由:系统对比了视觉表征与融合机制,提出 R^2-WAM 架构,在 RoboCasa GR1 Tabletop 任务上达到 84.7% 成功率。
论文提出 EgoReveal 框架,旨在解决日常环境中物体常被部分遮挡的问题。该框架通过模仿学习,从以自我为中心的演示中同时习得视点重定位策略与物体操作动作,利用两个模仿策略根据目标可见性动态切换:一个预测未来的相机 - 机械臂姿态序列以调整视角,另一个基于物体关键点与控制历史预测未来控制指令。
推荐理由:提出 EgoReveal 框架,通过模仿学习从以自我为中心的演示中同时习得视点重定位与操作动作,解决部分遮挡下的任务可靠性问题。
论文提出 LeapBot-JAC 方法,旨在解决固定动作令牌预算下的执行组织问题。该方法在共享动作专家内分配稀疏的未来控制引用和密集的当前执行目标,利用定向注意力机制让执行令牌读取受可见性约束的参考令牌。
推荐理由:提出 LeapBot-JAC,在固定动作令牌预算下通过联合动作链组织稀疏参考与密集执行,提升 LIBERO 任务成功率。
论文介绍 EASG(Explicit Action-Space Grounding)框架,旨在解决将预训练视觉语言模型转化为通用机器人策略的挑战。该方法通过将工具中心点(TCP)坐标系投影到手腕相机观测中,并将连续机器人动作表达为 VLM 原生文本生成接口,使 VLM 能直接利用其现有的视觉 - 空间推理能力生成可执行的动作,无需机器人动作预训练或额外动作模块。
推荐理由:提出 EASG 框架,利用预训练 VLM 原生文本生成接口实现零样本机器人操作,无需额外动作模块或预训练。
论文提出 LeWAM,这是一种端到端的联合嵌入预测架构(JEPA),旨在无需像素重建的情况下学习紧凑的潜在世界模型以支持直接控制执行和高效规划。该方法通过联合训练下一个潜在状态预测与动作流匹配,并施加各向同性高斯约束,使单一模型能同时支持策略执行与采样动作评估。
推荐理由:LeWAM 通过联合嵌入预测架构实现了端到端控制,在接触丰富任务上成功率提升至 89.7%,规划速度提升 32.3 倍。
上海人工智能实验室推出决策模型‘书生·明决’(Intern-Decision),包含0.8B、2B、4B三档参数版本。该模型将原生视觉感知与指令遵循融为一体,在单卡RTX 4090环境下实现每秒约30次决策的响应速度,端到端时延比Jev快2倍以上。
推荐理由:上海AI实验室推出原生视觉决策模型书生·明决,在端侧推理速度与多模态任务质量上超越Jev等开源基线。
10月8日,MIT韩松团队联合英伟达、香港大学和加州大学圣地亚哥分校发布了世界动作模型Long-WAM。该框架旨在满足实时控制要求的同时扩展因果世界动作模型的上下文长度,利用历史视觉信息辅助动作决策。
推荐理由:MIT韩松团队联合英伟达等发布的Long-WAM,通过分阶段预训练扩展了世界动作模型的视觉上下文长度,在保持实时响应的同时显著提升了复杂连续操作任务的成功率。
美国仓储机器人公司Ultra宣布完成6200万美元(约合人民币4.1亿元)融资,由Framework Ventures主导、Y Combinator参与A轮及种子轮融资。
推荐理由:美国仓储机器人公司Ultra完成超4亿美元融资并深化与Physical Intelligence合作,采用RaaS模式部署于多地。
论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。
Aether AI 正式推出因果机器人智能系统 CRIS-0,该系统通过因果驱动的 Agent 和因果世界模型两大模块,在真实环境中展示了对动态干扰的实时调整、任务自主纠错及动作直接生成能力。创始人黄碧薇为 UCSD 助理教授,公司成立于 2026 年并已完成融资。材料包含真机演示视频与架构说明,未提及具体开源代码或部署许可细节。
推荐理由:Aether AI 推出 CRIS-0 系统,利用因果状态与统一工具接口实现机器人自主纠错与环境适应。
字节Seed团队研究发现,DeepSeek-V4系列模型在长上下文检索中表现出显著的“相位敏感性”,即同一条信息仅改变输入位置(Token站位),其检索准确率便会呈现与压缩步长一致的周期性波动。
推荐理由:字节Seed团队发现分块KV Cache压缩引入相位敏感性,导致模型检索能力随输入位置周期性波动,后训练与架构迭代可显著缓解该问题。
该报告由小米 LLM-Core 团队发布,介绍了 MiMo-V2.6 系列全模态模型,旨在通过扩展强化学习(RL)计算规模推动大模型智能边界。在预训练混合-SWA 架构基础上,报告详细阐述了三个维度的 RL 扩展策略:更大批次与吞吐量、涵盖代码/通用/视觉/网络域的复杂环境以及更强大的评估器计算。
推荐理由:报告介绍了 MiMo-V2.6 系列,通过扩展 RL 计算规模、引入混合任务代理 RL 基础设施及开源训练动态,推动大模型向自我改进迈进。
Sharpa在IROS现场发布三款产品:一体式触觉感知灵巧操作机器人D01、新一代全触觉超紧凑灵巧手W02以及高保真外骨骼触感数据手套AE01。D01全身覆盖电子皮肤,采样率100Hz;W02将21个主动自由度塞入更紧凑结构,实现零抓握半径与整手触觉覆盖;AE01通过双向接口采集自然手部动作与接触反馈。
推荐理由:Sharpa发布D01机器人、W02灵巧手及AE01数据手套,构建触觉全栈体系以解决真实场景下的接触感知与闭环控制难题。