TactileLab:基于高效剪切敏感触觉仿真的仿真实灵巧操作框架
论文介绍 TactileLab 框架,利用刚体仿真结合光流法估计接触界面的切向运动以编码剪切动力学,替代昂贵的软体物理模拟。研究提出新的策略架构处理长程本体感觉与丰富触觉观测,并开发实真翻译方法将真实触觉图像映射为仿真场。在双臂及手内操作任务中验证了该方法支持大规模强化学习训练及仿真实到现实的部署能力。
推荐理由:提出基于光流的触觉流场表示与实真翻译方法,在双臂及手内操作中验证了大规模强化学习策略的仿真实用性。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
425 条精选近 30 天 289 条共收录 1,722 条
论文介绍 TactileLab 框架,利用刚体仿真结合光流法估计接触界面的切向运动以编码剪切动力学,替代昂贵的软体物理模拟。研究提出新的策略架构处理长程本体感觉与丰富触觉观测,并开发实真翻译方法将真实触觉图像映射为仿真场。在双臂及手内操作任务中验证了该方法支持大规模强化学习训练及仿真实到现实的部署能力。
推荐理由:提出基于光流的触觉流场表示与实真翻译方法,在双臂及手内操作中验证了大规模强化学习策略的仿真实用性。
本文提出了一种基于消费级服务器的可复现评估框架,旨在降低接触式机器人操控评估的成本门槛。实验显示,在稀疏数据条件下,三种独立训练的动作分块策略在 780 次 rollout 中零成功,而单步策略成功率介于 2.6% 至 11.8%。研究进一步表明,失败源于训练公式与多步预测机制而非开环执行,为物理策略开发提供了可复用的评估工具。
推荐理由:作者提供了一套基于消费级 GPU 的可复现评估框架,以低成本验证了动作分块策略在稀疏数据下的失效原因。
论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。
推荐理由:该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
驭势科技在CeMAT ASIA 2026展示升级后的L4级无人驾驶牵引车T30,该车型通过升降式自动脱挂钩装置实现自主倒车、拖斗挂接与脱钩,并与无人叉车协同完成装卸转运。
推荐理由:驭势科技发布升级的L4级无人驾驶牵引车T30及协同作业方案,展示了自动脱挂钩、VLM/VLA技术栈与AI编程交付平台。
针对高质量遥操作数据集收集成本高且硬任务方向性不对称的问题,本文提出一种通过时间反转易任务来辅助硬策略学习的框架。该方法包含闭环数据采集、分层数据清洗(利用运动学先验和评论家引导的优势过滤)以及迭代策略学习三个核心组件。在两个仿真基准和真实机器人实验中,该方法在不依赖大量硬任务遥操作的情况下,相比基于反转和强化学习的基线方法,显著提升了复杂高精度操作任务的成功率并提高了训练稳定性。
推荐理由:提出利用逆向易任务轨迹作为监督信号,通过闭环采集与分层清洗降低硬任务遥操作成本。
NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。
推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。
针对现有以自我为中心的自动驾驶系统在混合交通场景中因多车决策冲突导致的安全问题,论文提出 CoSafe 框架。该框架利用车路协同(V2X)通信,使路边单元能监控场景级风险并实施联合干预,将安全保证从单车接管扩展到场景级协作。
推荐理由:提出 CoSafe 框架,利用 V2X 通信实现场景级协同干预,在混合交通下显著降低违规率并提升自动驾驶得分。
该论文提出了 HALO 系统,利用程序化生成的千个虚拟家庭合成视觉 - 语言 - 动作数据以解决人形机器人训练的数据瓶颈。HALO 习得了坐椅子、导航至命名物体、侧身过门等技能,并能编排这些技能完成复合长周期任务。系统在从未见过真实家居的训练下实现零样本迁移,在六个未建图的真实环境中进行了 360 次试验,成功率为 91%。代码与视频已公开。
推荐理由:HALO 系统通过程序化生成合成数据实现零样本迁移,在六个未建图真实环境中达到 91% 成功率。
该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。
推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。
论文提出 Compounding Physical RSI 框架,解决通用机器人策略在物理环境中因下游瓶颈不可观测、失败轨迹无法提供修正动作及更新共享参数导致技能退化等问题。
推荐理由:提出 Compounding Physical RSI 框架,将执行失败转化为可继承能力,在 RoboDojo-Sim 基准上实现领先性能。
针对 CARLA 封闭回路基准仅依赖违规罚分无法区分停止与推挤障碍行为的局限,本文提出失败边界轮廓方法,通过改变走廊宽度或车流时间差等因子并认证每个变体应通行或停止,估算代理的承诺度与能力曲线。该方法在七个驾驶代理和 Isaac Sim 仓库机器人上评估显示,规则专家决策准确率为 0.74,而得分最高的学习代理仅为 0.60,揭示了高分策略在不同失败模式下的差异。代码与数据已公开。
推荐理由:提出失败边界轮廓方法,通过认证标签区分不同导航策略在闭环评测中的决策准确性与行为差异。
论文提出 TwinBridge 框架,通过结合 3D Gaussian splatting 与物理仿真构建数字孪生,为现实世界的在线强化学习提供策略初始化及稠密视觉奖励。该框架将基于仿真的监督蒸馏为视觉奖励模型,在真实交互中结合执行历史计算稠密奖励以优化人机协作下的策略。实验显示,该方法在五项实验室操作任务上实现了 98% 的平均自主成功率,且每任务仅需最多 25 分钟的真实世界交互时间。
推荐理由:该框架利用数字孪生提供策略初始化与稠密视觉奖励,在五项实验室任务中实现 98% 自主成功率,仅需每任务最多 25 分钟真实交互。
TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。
推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。
针对学习型机器人策略在训练阶段评估困难的问题,论文提出 RACE 指标,利用固定集的成功轨迹校准动作偏差并聚合累积评分,替代昂贵的实机测试。实验表明,该指标在仿真中优于基线且对验证集变化鲁棒,在真机上其检查点排名与部署成功率一致,能有效区分不同偏差对任务成功的影响。
推荐理由:提出 RACE 指标,利用固定成功轨迹校准动作偏差以替代昂贵实机测试,仿真与真机实验均显示其排名与部署成功率高度一致。
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。
推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。
百度正式披露全新世界模型ApolloWorld,利用AI构建持续变化的虚拟交通环境,支持多智能体交互与完整行程级别的实时推演。该系统已应用于萝卜快跑的全球化测试验证,宣称其虚拟路测效率相当于一辆配备安全员的真实测试车连续行驶三年。
推荐理由:百度披露ApolloWorld世界模型,支持实时推演完整Robotaxi行程,宣称虚拟路测效率可达真实测试的三倍。
论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。
推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。
PyRUA-DataFarm 利用 LLM Agent 接收任务请求与一次校准数据,在仿真中自动重建场景、专家控制器及成功判定器,并通过视频模型渲染多视角合成视频。
推荐理由:提出用 LLM Agent 自动构建仿真环境与视频渲染,生成低成本且真实可用的机器人训练数据。