PhysTacGen:一种结合材料感知与几何条件的视觉到光触觉图像生成框架
针对具身智能中成对视觉 - 触觉数据收集成本高的问题,本文提出 PhysTacGen 框架以合成光触觉图像。
推荐理由:提出 PhysTacGen 框架,利用强化学习生成材料描述并结合几何先验合成光触觉图像,在 SSVTP 数据集上优于基线且能提升下游力系数预测性能。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
针对具身智能中成对视觉 - 触觉数据收集成本高的问题,本文提出 PhysTacGen 框架以合成光触觉图像。
推荐理由:提出 PhysTacGen 框架,利用强化学习生成材料描述并结合几何先验合成光触觉图像,在 SSVTP 数据集上优于基线且能提升下游力系数预测性能。
论文介绍 OpenWAM 框架,基于 Wan2.2-5B 在超 10,000 小时视频上进行因果机器人 - 视频预训练,并集成动作专家支持多种生成模式。实验显示该框架在 LIBERO 套件和真实双手任务上取得高成功率;反事实监督将逆动力学模型在测试集上的平均成功率从 47.0% 提升至 84.0%,并将前向动力学的结果识别率从 21.1% 提升至 71.3%。
推荐理由:该工作提出开源框架 OPENWAM,通过因果预训练与可配置架构统一对比不同交互设计,并验证了反事实数据对动力学模型的提升。
针对扩散或流匹配动作头在处理去噪轨迹时缺乏阶段感知的不足,该研究提出 StairVLA 框架,利用部分去噪动作作为高层长视界规划与局部精细化的接口。系统采用高层 VLA 进行早期去噪以生成可复用的长时序轨迹,同时由轻量级精炼器高频更新局部动作块。
推荐理由:该方法通过分层架构复用高层 VLA 计算并保留高频闭环修正,在 LIBERO 基准上提升成功率并降低推理延迟。
论文 CoRE 研究单策略去中心化协作,即所有机器人运行同一策略且无身份标签或互通信。该方法从多任务演示中学习协作角色专家,利用外观与几何信息提供局部交互证据,并通过查询条件交叉注意力实现可适应预测路径。训练阶段使用动作 - 专家对齐损失监督专家选择。在仿真基准中表现最佳,物理实验显示其对伙伴延迟和减速具有鲁棒性。
推荐理由:该工作提出单策略去中心化协作框架,在仿真与物理实验中均验证了多机器人互补行为的有效性。
该论文针对精密装配中位姿误差导致观测与动作坐标系偏移且无法仅凭本体感知识别的问题,提出在训练阶段引入特权教师或重标演示数据以补偿缺失信息的方法。实验显示,该方法在 FORGE 基准测试中,面对 0 至 5 毫米的位姿噪声时成功率维持在 92% 至 99%,显著优于其他基线方法;在 Franka 机器人零样本部署下,面对 5 毫米噪声时的成功率为 83.3%,而最强状态基线仅为 34.4%。
推荐理由:针对精密装配中的位姿误差问题,提出利用特权噪声蒸馏提升视觉 - 力控策略鲁棒性的方法。
arXiv 预印本论文 ESP 提出了一种无需教师模型的能量分数策略,通过直接映射上下文和噪声到动作块来消除迭代采样带来的推理延迟。该方法使用能量分数而非均方误差训练动作头,在仿真与真实操作任务中展现了具有竞争力的成功率且显著降低了生成延迟。
推荐理由:提出无需教师的能量分数策略,在仿真与真实操作中实现低延迟的多模态动作生成。
针对收集大规模实物关节物体交互演示困难的问题,作者提出 SMART 系统及其核心仿真平台 SMART-Sim。该系统利用代理任务生成与分布式合成技术,构建了包含超过 100 万次演示、覆盖 44 种原子任务类型、5 种机器人配置及 2507 个关节物体的数据集 SMART-Data。
推荐理由:提出 SMART 系统,通过大规模合成演示实现零样本仿真到现实迁移,提升 VLA 模型在复杂接触任务中的表现。
针对大语言模型在长程任务中空间上下文捕捉不足及 Token 成本高的问题,该研究提出 OntoPlan 框架。通过构建对齐对象、空间、关系和状态的共享符号词汇表进行本体论 grounded 场景表示,结合选择性信息检索与目标形式化能力,实现指令解释与可执行计划生成。
推荐理由:该工作提出基于本体论的场景表示与代理框架,在长程任务中显著降低 Token 消耗并提升成功率。
针对现有共设计方法仅凭单一任务奖励数值难以区分机器人本体对控制器依赖程度的问题,本文提出通过限制控制器复杂度来测量本体的固有表现力。研究在三个 EvoGym 运动任务上验证了该指标的可信度与解释性,发现几何描述符无法预测其方差,且该能力仅在声明的特定控制器家族下可被解读。
推荐理由:提出用控制器限制协议评估机器人本体能力,发现任务奖励无法区分依赖控制器的不同形态。
论文提出 GaugeBench 基准,验证了固定机制下仅改变物理等价的描述(如关节轴方向)会导致 MetaMorph 等策略性能从 4030.6 骤降至 51.6。研究发现轴反转是主要破坏因素,而跨形态评估需同时测试机制与表示鲁棒性;通过跨等价约定训练可将轴反转下的保留回报率从 3.6% 提升至 80.6%。
推荐理由:该研究通过 GaugeBench 揭示了机器人描述变更对策略鲁棒性的毁灭性影响,并提出了跨形态评估与训练方案。
针对安全关键设施中 RGB 相机无法检测的辐射或高温风险,作者提出无需重新训练即可复用的 Physics-Guided Visual Prompting(PG-VP)模块。
推荐理由:提出无需重训的视觉提示模块,利用虚拟障碍物引导 VLA 模型规避辐射与高温风险。
针对仿真训练的灵巧操作策略在真实世界因接触时序和力调节误差而失效的问题,本文提出 ReDex 框架。该框架允许人类操作员在真实部署中,对选定手指进行物理修正以纠正接触失败,同时保留基座策略控制其余手指。
推荐理由:提出 ReDex 框架,通过人机协作修正接触失败并引入触觉反馈,将物体翻转成功率从 14% 提升至 86%,为仿真策略迁移提供新路径。
MobileVISTA 是一个数据生成框架,旨在解决端到端操作策略在机器人部署时因微小姿态偏差导致性能骤降的问题。该框架将采集于标准姿态下的演示数据转化为多样化、姿态扰动后的训练数据,通过联合增强以眼为中心(egocentric)的视觉观测并重新定向动作以补偿基座姿态变化。
推荐理由:该框架将演示数据转化为多姿态扰动数据,无需额外采集或生成模型即可提升策略对非分布内姿态的鲁棒性。
针对分布偏移下的人群导航安全难题,本文提出一种基于自适应椭球形共形预测的风险感知框架。该方法将结构化预测不确定性转化为条件在险价值信号以调节拉格朗日安全惩罚,在分布外设置下相比最先进基线提升了 5.68-7.44 个百分点的成功率并降低了 5.44-6.64 个百分点的碰撞率。
推荐理由:该方法利用各向异性椭圆体处理分布偏移下的不确定性,在仿真与物理机器人上均验证了提升成功率并降低碰撞率的有效性。
针对自回归模型在行为树决策中存在的延迟问题,该研究提出 SharedKV-BT 方法,利用共享 KV 缓存并行评分候选动作并分离执行系统。实验显示,该方法在机器人操作、移动导航和计算机使用任务上,推理速度比提示匹配自回归解码快 2.36-4.15 倍;在操作任务中,节点本地 Shared-KV 将联合决策准确率从 75% 提升至 94%,闭环成功率从 0% 提升至 60%。
推荐理由:该工作提出 SharedKV-BT,通过节点本地类型化决策与并行评分,在机器人操作等任务上显著提升了行为树智能体的推理速度与闭环成功率。
PlaySuite 是一个基于超过 5000 款开源视频游戏的交互式视觉智能评测基准,涵盖 Pygame、Unity 等多种引擎。研究构建了统一的闭环交互框架与 Video-LLM-as-a-judge 协议以支持异构游戏评估。对十四种近期开放模型的测试显示,尽管推理能力强,但模型在空间定位、动作执行和自我修正方面存在持续失败,揭示了感知与行动之间的差距。
推荐理由:PlaySuite 发布大规模游戏评测基准,揭示当前模型在动态环境中的感知 - 行动差距。
该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。
推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。
该论文提出 LEAP(Latent Encoding with Aligned Privileged Geometry)框架,旨在解决利用额外几何信息指导 RGB 视觉运动策略学习时存在的本体感觉捷径、主导视角依赖及重建目标无关等局限。
推荐理由:LEAP 框架通过引入辅助解码器与腕部视角丢弃策略,解决了特权几何监督的三大局限,在 RoboTwin 等基准上显著优于 Diffusion Policy 和 ACT。
针对多层级场景中长视界决策导致的稀疏奖励问题,本文提出一种基于模块化框架的诊断性研究。设计分层分解策略将全局策略解耦为楼层内探索策略和楼层间切换策略,并通过蒸馏视觉语言模型的探索逻辑来初始化轻量级楼层内策略。理论分析表明在理想假设下该分解策略与单一全局策略等价。实验结果显示感知性能和爬梯稳定性是多层级导航的主要瓶颈。
推荐理由:该文提出分层分解框架,通过蒸馏视觉语言模型初始化策略,诊断多层级导航中的感知与爬梯稳定性瓶颈。
针对单一 VLA 模型在不同任务状态和环境下的性能局限,本文提出了 SWAP 框架,将策略路由建模为离线强化学习问题以动态选择最优策略。该方法在真实世界的 DROID 操作任务和 LIBERO 仿真实验中均优于固定策略及基线路由方法,真实任务成功率绝对提升最高达 33%,同时减少了成功轨迹中的机器人动作步长。
推荐理由:该工作提出动态组合多个 VLA 策略的框架,在真实操作任务中成功率提升最高达 33%。