Tiny Recursive Policy:用于视觉运动控制的递归潜在精炼方法
针对现有行为克隆策略依赖固定观测窗口而缺乏持续上下文的问题,本文提出 Tiny Recursive Policy(TRP),通过共享计算模块在每一步控制中反复更新高、低层潜在状态并解码动作序列。
推荐理由:提出结合持久时序状态与递归潜在精度的行为克隆策略,在长程任务上显著优于大生成式基线且参数量更少。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
针对现有行为克隆策略依赖固定观测窗口而缺乏持续上下文的问题,本文提出 Tiny Recursive Policy(TRP),通过共享计算模块在每一步控制中反复更新高、低层潜在状态并解码动作序列。
推荐理由:提出结合持久时序状态与递归潜在精度的行为克隆策略,在长程任务上显著优于大生成式基线且参数量更少。
João P. Matos-Carvalho 等人发布论文 Image Clustering with Vision-Language Model Embeddings,对比了九种表示管道在七个基准数据集上的聚类性能。
推荐理由:该研究对比了九种基于预训练视觉语言模型的图像聚类流程,揭示了特征提取与归一化选择对调整兰德指数(ARI)的关键影响。
智元发布 Genie Studio 2.0 集成平台,连接机器人模型、任务工作流与现场系统,支持新任务环境七天验证。平台包含 Flywheel 模块用于数据收集、模型训练及仿真测试,Agent 模块用于拖拽式任务编排,Monitor 模块用于车队监控与远程干预。
推荐理由:平台整合数据、模型与现场系统,支持新任务环境七天验证,已在制造与轨交项目完成闭环。
10月26日,智元正式推出面向拆码垛、物料转运等场景的安规级重载具身机器人精灵G2 Max。该产品单臂负载20kg、双臂额定负载40kg,具备7自由度力控与视觉引导能力,可兼容多种工业物料且无需大量重新示教。
推荐理由:智元发布安规级重载机器人精灵G2 Max,集成力控与视觉融合方案以解决搬运精度难题,并适配既有产线布局。
针对视觉语言动作(VLA)模型微调导致预训练语义结构退化、影响泛化的问题,该方法通过探针分析确认了动作表示质量与任务成功及分布外泛化的同步关系。研究提出一种即插即用方案,将动作表示锚定到语义流形并分解为共享与私有通道,推理时丢弃这些通道以保持部署模型不变。
推荐理由:提出一种无需修改部署模型的语义锚定方法,在仿真与真实基准上显著提升 VLA 模型的任务成功率与泛化能力。
该研究指出人形机器人的安全过滤器仅在特定参数配置下有效,缺乏通用方法确定这些参数导致部署后可能失效。作者展示了无需额外权限即可通过正常交互利用此漏洞的攻击方式,并开发了自动化工具 SIREN 来识别脆弱目标。实验表明 SIREN 在 SPARK 数据集的所有脆弱场景中均能发现攻击,且能在真实人形机器人上成功诱导碰撞事故。
推荐理由:论文揭示人形机器人安全过滤器存在可被正常交互利用的漏洞,并展示了自动化攻击工具 SIREN 在仿真与真实机器上的有效性。
UniAction 是一种统一的动作条件化框架,旨在解决现有世界模型因动作类型而异导致数据碎片化的问题。该框架将任意动作表示为稀疏的动作元素集合,每个元素具有离散语义身份和连续时空坐标,并直接映射到预训练视频模型的固有位置空间。
推荐理由:UniAction 提出统一动作条件框架,将异构动作映射至共享时空结构并引入基数校准注意力,在四类动作形式上优于专用专家模型。
论文提出 ViT-H 框架,通过扩散模型直接从单目视频中生成类人参考动作,跳过中间的重构与重定向阶段,并利用运动追踪结果进行偏好优化以提升可执行性。该工作还引入了自回归变体以实现低于 400ms 延迟的实时遥操作。在 Unitree G1 机器人上的实验表明,ViT-H 在运动质量和可执行性方面均优于现有的重建 - 重定向 - 追踪流水线,且模型规模与数据规模的扩展效果良好。
推荐理由:ViT-H 框架通过生成式视频到类人控制范式,利用运动追踪反馈优化生成器,在 Unitree G1 上展现出优于传统流水线的运动质量与可执行性。
针对复杂高维生物搜索空间探索中物理执行受限于静态自动化和未建模物理变异的瓶颈,本文提出 VERID(Verified Infrastructure for Discovery Laboratories),这是一种持久化、高保真的实验室工作站语义数字孪生基础架构。
推荐理由:提出 VERID 语义数字孪生基础设施,通过仿真验证与错误恢复机制解决湿实验室自动化瓶颈。
针对室内无人机在动态环境下仅靠最少机载传感进行定位的挑战,作者提出了增强的过滤蒙特卡洛定位(AF-MCL)方法。该方法利用四个单点测距传感器和测量航向实现 2D 定位,通过拒绝与已知静态地图不一致的测距数据来适应动态环境,并自适应注入粒子以恢复定位发散或被劫持的情况。
推荐理由:提出仅用四个单点测距传感器即可在动态环境中实现鲁棒室内定位,实测误差约 6.4-7.7 厘米。
OWLS 是一种无需任务特定训练、地形标注或持久地图的零样本漫游车导航方法。该方法利用视觉语言模型对单目相机图像中的每个像素进行可通行性评分,将这些语义分数投影到地面并通过形态学操作适配平台,进而生成最小时间规划器的速度场。研究在室内及非道路物理漫游车上进行了评估,并在模拟火星与月球漫游器上测试了 200 个程序化生成的地形,同时验证了在真实行星影像上的表现。
推荐理由:论文提出利用视觉语言模型的语义评分构建速度场,实现无需训练与标注的零样本漫游车导航。
该论文提出 UAV SwarmAgent,这是一个分层多智能体系统,操作员仅需用一句自然语言描述任务,地面站代理即通过代码生成为每架无人机规划路线。系统在仿真环境中对 4 类事故场景和 3 种基础模型进行测试,成功定位了 255 次任务中的 244 次(成功率 95.7%)。研究还发现增加无人机数量带来的速度提升存在上限(1.52 倍),并讨论了误报问题及后续用户研究的必要性。
推荐理由:该工作提出通过代码生成与视觉语言推理实现多无人机任务分配,仿真显示定位成功率达 95.7% 且扩展性符合阿姆达尔定律。
HGWM 耦合了 LLM 生成的房间锚点先验与持久化的空间语义记忆,采用两阶段机制(粗粒度视觉语义评分与细粒度符号兼容性测量)结合 LLM 方向推荐进行本地动作选择。
推荐理由:该工作提出分层图引导的世界模型,在仿真环境中实现零样本物体导航,提供了具体的成功率与路径效率指标及消融分析。
论文介绍 RoboCode,该方法通过共享软门控原语接口学习动作空间中的可复用模式,将动作块表示为多个学习到的原语的软组合而非单一离散码。在五个 ManiSkill 任务实验中,其平均重建 MSE 为 0.0187,代码激活分析显示跨任务的结构性复用,且在所有评估任务上达到最高或并列的闭环成功率(平均 75.6%),优于 ACT(68.8%)和 Diffusion Policy(41.6%)。
推荐理由:该工作提出软门控原语接口,在五个任务上实现平均 75.6% 成功率并揭示代码复用结构。
该论文介绍 AURORA 框架,旨在解决现有双曲视觉语言预训练目标中语义对齐与层级结构纠缠的问题。作者提出通过角度对齐捕获语义相似性,并利用新的径向 - 角度顺序锥(RAOC)进行蕴含建模,同时引入范数正则化防止径向退化。模型在数百万图像文本对上训练,并在零样本分类、图文检索等任务上优于欧氏和双曲基线。材料为 arXiv 预印本,未提及同行评审状态或开源代码。
推荐理由:提出 AURORA 框架,通过解耦语义对齐与层级蕴含建模解决双曲空间表示冲突。
论文提出了适用于高速越野导航的 TravSUITE 系统,该系统包含利用视觉基础模型构建几何语义局部地图的高效体素映射器,以及联合预测鸟瞰图下几何、语义、速度和成本的统一神经网络。
推荐理由:该工作提出无标注的自监督训练策略,结合地图补全与逆强化学习实现越野环境下的可通行性预测与风险自适应。
这篇论文针对机器人操作任务中实时响应与执行稳定性的平衡难题,揭示了流匹配视觉语言动作模型中数值求解器深度与执行视界之间的基础计算 - 执行耦合关系。研究发现,粗粒度数值积分虽会降低快速重规划下的精度,但能显著改善长开环承诺下的任务性能;几何上,数值截断收缩了不变轨迹质点周围的侧向动作离散度,起到了抑制累积开环漂移的隐式正则化作用。
推荐理由:该研究揭示了流匹配 VLA 策略中执行视界与采样深度的耦合机制,在不修改架构和无需训练的情况下显著降低推理延迟并提升任务成功率。
针对 NASA CADRE 等任务中单台漫游车无法应对月夜极寒的问题,本研究利用强化学习训练共享策略,让二十个小型机器人无需位置参考或相互接触,自发形成聚集核心与边缘循环的行为模式。
推荐理由:研究通过强化学习让二十个机器人自发形成类似帝企鹅的聚集与循环行为,在无需位置参考或接触的情况下实现热调节,使所有机器人在月夜后幸存。
研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。
推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。
论文提出了 RepresentNav 导航基础模型,该模型构建了由策略自身目标驱动的视觉表示空间。通过 Representation Residuals 模块整合多模态视觉编码器特征,实现端到端训练的策略与潜在思维链联合嵌入预测架构(JEPA)。
推荐理由:提出基于自构建表示空间的导航基础模型,在多个基准上刷新纪录并将成果迁移至实体机器人。