LynnReal-Hand:解锁手部控制的世界交互能力
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
无界动力正式发布并开源MWA™-Phoenix端侧7B参数完整预训练模型,该模型在LIBERO-Plus、LIBERO-Pro等六项评测中取得领先成绩,验证了其在环境扰动与复杂操作方面的能力。
推荐理由:无界动力发布端侧7B隐空间世界模型及仿真工具,在多项评测中验证了仅凭RGB输入完成复杂操作与真机执行的能力。
论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。
推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。
Genesis World v1.2.2 发布,新增支持噪声选项(迟滞、死区、探针增益)的触觉传感器家族,适用于通过强化学习训练灵巧策略。修复了非凸碰撞检测中的虚假深接触和薄壳穿模问题,并将 noslip 后处理步骤的性能损耗控制在 20% 以内。同时修复了 go2_backflip RL 训练示例及大数据量下的数据访问器回归问题。
推荐理由:该版本修复了触觉传感器与碰撞检测的稳定性问题,并优化了 RL 训练性能。
NVIDIA Isaac Lab 发布 v2.1.0 版本,正式支持使用 Apple Vision Pro 进行双手遥操作以采集灵巧手部数据,并集成 Isaac Lab Mimic 实现模仿学习工作流。
推荐理由:NVIDIA Isaac Lab v2.1.0 新增 Apple Vision Pro 遥操作与 HOVER 人形机器人仿真部署支持,并开放 USD 属性随机化等新功能。