SyncTwin:用于安全机器人操作的快速数字孪生构建与同步
针对动态和视觉遮挡条件下的准确安全机器人操作挑战,本文提出 SyncTwin 数字孪生框架。离线阶段利用 VGGT 从 RGB 图像快速重建物体级三维资产形成可复用几何库;执行阶段通过跟踪真实世界物体状态持续同步数字孪生,并利用存储资产补全部分观测的几何。
针对动态和视觉遮挡条件下的准确安全机器人操作挑战,本文提出 SyncTwin 数字孪生框架。离线阶段利用 VGGT 从 RGB 图像快速重建物体级三维资产形成可复用几何库;执行阶段通过跟踪真实世界物体状态持续同步数字孪生,并利用存储资产补全部分观测的几何。
针对卡通等少标注领域的人脸关键点检测难题,该方法利用预训练扩散模型生成高质量对齐的合成配对数据集。通过在真实人脸上预训练、文本提示微调及在合成数据上精调三个阶段,实现了跨领域的优异性能。论文已获 ICASSP 2024 接收并开放代码仓库。
该方法利用控制变量法仅降低学习过程方差而非直接塑造学习目标,适用于策略评估及 Actor-Critic 框架下的策略改进与离线 RL 场景。MuJoCo 基准实验表明其性能优于标准仿真混合方法,论文已作为 NeurIPS 2026 海报被接收并开源代码。
该论文系统梳理了可微物理仿真中“计算对象”与“反向传播实现”的分类差异,指出精确梯度优势取决于拟合目标来源而非单纯求解器预算。研究量化了接触非光滑性导致梯度丢失的四种机制,并验证了在特定条件下零阶方法优于模拟器梯度的现象。材料提供了报告清单、诊断工具及未来研究议程,旨在澄清文献中的混淆概念。
针对传统训练策略与学习分布耦合的问题,本文提出 World In-Context Learning (WICL) 范式,利用冻结模型在仿真环境中对任务进行排练并将反馈写入上下文而非权重。
推荐理由:提出将反馈写入上下文而非权重的范式,在仿真中通过排练实现跨场景泛化。
arXiv 论文提出 Library of Hands (LoH),一种无需重新训练即可适配不同控制器或相机视角的世界模型方法。该方法冻结 LeWM 等世界模型,仅通过读取摄像头图像差异来识别并修正指令到实际动作的映射(即“手”),从而解决同一指令在不同硬件下效果不一致的问题。
该论文针对 VLA 模型需为每个下游任务和机器人微调的问题,以 SO-101 机械臂移动国际象棋国王为例进行研究。研究发现,利用随机脚本专家生成的仿真演示进行预训练能显著降低对真实数据的依赖;同时指出学习率冷却对检查点比较至关重要,而验证损失和行动误差不可靠。作者开源了仿真器、专家策略及真实演示数据。
论文介绍了 Embodied First Exam,这是一个统一的评估框架,允许代码智能体选择直接控制、生成代码控制或训练策略来控制机器人。该基准包含 35 个套件中的 1,156 项任务,覆盖 47 台机器人,包括 9 个新套件以应对空间谜题、灵巧操作等挑战。
针对仿真策略在真实硬件上因非理想性而性能下降的问题,论文提出 GAP 框架,通过梯度引导网络学习如何调整动作而非直接执行动作,将适应先验从仿真迁移至物理硬件。实验显示该方法在仿真阶段相比现有基线提升约 2.4 倍 F1 分数,且在真实灵巧手上对三首不同难度的乐曲分别提升了 3.6% 至 23% 的 F1 分数,展示了减少真实世界交互成本的有效路径。
推荐理由:提出利用梯度引导网络学习适应先验,在仿真阶段提升钢琴演奏任务的样本效率并迁移至物理硬件。
DPGS-SLAM 通过异步扩散背景补全与溯源感知高斯映射,解决动态物体干扰视觉 SLAM 的难题。系统利用 SAM2 识别动态区域,结合微调扩散模型生成遮挡背景外观,并由 Metric3D v2 预测深度以初始化临时高斯原语。
论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。
推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。
论文提出了 UltraVoxelGS,这是一种针对三维超声重建的 Feed-Forward(前馈)高斯泼溅方法,首次实现了快速重建与物理保真的实时渲染效果。该方法通过 voxel-to-Gaussian 的前馈路径解耦了表示大小与输入数量,并提出了感知超声特性的外观渲染策略以处理声学传播导致的视图依赖现象。
该论文研究了机器人演示数据集如何结合不同经验的遥操作者数据,提出用“数据倍数”衡量两组演示达到相同成功率所需的数量比。研究基于 robomimic 的 Square 和 Can 任务,对比了标记为 Better(更好)和 Worse(较差)的操作员数据。
该研究提出利用代理在物理仿真中进行自学习以掌握翻动物体的基础操作技能。通过迭代学习,系统逐步习得手递手、推倒、抓取感知及薄物体操控等子技能,将任务成功率从 24.7% 提升至 95.0%。最终生成的基于图形的代码集成了高层策略选择与反应式控制,已验证可在实体机器人上实现多阶段翻动物体操作。
推荐理由:论文展示代理在物理仿真中自主习得翻动物体技能,成功率从 24.7% 提升至 95%,并生成可迁移到实体机器人的代码。
Holiday Robotics 发布了 HolidayFactory 1.0 框架,旨在解决传统机器人评估因场景重置而脱离工业连续作业的问题。
该研究开发了一套集成商用仪器的物理测试床,实现了连续 24 小时无人值守的闭环自主实验。系统在四小时内完成六次独立任务,利用智能体优化器将匹配目标吸光度光谱所需的迭代次数较传统贝叶斯优化减少最多 52%,并成功解决后者在 48 次内未收敛的目标。该平台可作为参考基准,用于评估包括大语言模型指导在内的新兴 AI 策略,以应对真实世界中昂贵且耗时的实验部署挑战。
论文提出 Streaming Failure Forecasting (SFF) 方法,解决视觉语言动作(VLA)策略离线训练、在线漂移后的监控失效问题。该方法固定离线网络,仅利用每集结果对输出层进行轻量级重拟合(Jetson CPU 核心耗时 2.18ms)。在仿真与真实 SO-101 机械臂的实验中,SFF 在未公告的任务或策略切换场景下,故障排序能力均优于冻结监控器及重置方案。
arXiv 发布了一篇关于多机器人搜索与救援(SaR)研究的预印本,提出了 PA-SaR 数学与架构框架,用于协调异构机器人的本地控制、基于学习的探索、监督级任务分配及自适应引导受害者。
该论文提出 Kinematic Action Models (KAMs) 范式,将全身运动作为直接预训练目标,利用预训练的运动生成器作为动作生成的主干。Kimodo-Policy 是该范式的初始实例,结合了冻结的 Kimodo 文本到运动骨干网络与轻量级的 ControlNet 视觉条件化。
针对收集演示成本高限制 VLA 模型跟随多样化游戏玩法指令的问题,作者提出 Script2Play 框架。该框架利用 LLM 驱动的智能体构建可执行的游戏环境与任务,并通过程序化专家基于仿真状态生成分配指令、渲染观测及键盘鼠标操作。
针对高保真激光雷达仿真在结构控制与时序一致性上的瓶颈,本文提出了 CrossLiDAR 统一框架。该模型基于修正流目标与多模态扩散 Transformer 骨干,通过跨传感器交互模块和 ControlNet 风格分支支持结构条件输入(如 BEV 先验或 3D 边界框),并采用自回归方式扩展短序列以增强长时序连贯性。
论文提出将日本传统阿瓦舞从单目视频迁移至宇树 G1 EDU 商用类人形机器人的管线,结合人体网格恢复、运动学重定向及仿真强化学习。作者在单卡 RTX 5070 上训练,通过十一版本部署阶梯在硬件上验证了修复静默损坏、模型状态漂移及编辑参考动作等干预措施。
Belief-guided Residual Adaptive Control (BRACE) 提出一种分层强化学习框架,通过推断扰动信念来调整参考轨迹以应对空间变化的未知干扰。该方法在三个具有突发切换风场的四旋翼仿真环境及搭载风扇扰动的 Crazyflie 硬件上验证,相比模型预测控制与 RL 基线提升了 reach-avoid 性能。
针对预训练视觉语言动作(VLA)模型在域偏移下表现不佳的问题,论文提出 RAGu 方法,通过几何校准将源演示转换至目标设置,并采用粗到细策略从海量候选中筛选兼容轨迹。该方法直接引导 VLA 的流匹配推理过程,无需重训基座或扩展上下文窗口。实验显示,RAGu 在真实世界、仿真及跨具身的人形机器人操作中,将成功率从 20% 提升至 80%,且在仿真环境中优于最接近的基线方法。
论文 DreamVLA 提出利用生成式运动轨迹指导仿真环境中的强化学习,从而无需新的遥操作数据即可训练 VLA 模型。核心贡献是参考条件 DAgger 蒸馏流程,在失败后重启 RL 专家并聚合成功修正轨迹以解决分布偏移。研究评估了抓取、开抽屉、按按钮及行走抓取等任务,并对 DAgger 迭代次数、残差强化学习和生成数据集规模进行了消融实验。
针对稀疏驾驶场景中 LiDAR 点云仅覆盖物体小部分的挑战,本文提出 AmodalBox 框架,利用图像生成的 3D 资产作为非遮挡几何先验。该方法通过建立输入图像与渲染视图的对应关系,将标准非遮挡几何与部分观测的世界空间 LiDAR 点云对齐。
推荐理由:该方法利用图像生成资产作为几何先验解决部分遮挡问题,在 nuScenes 和 Waymo 数据集上显著提升了检测性能。
针对现有方法在移动观看者场景下需重新训练或存在全局尺度模糊的问题,本文提出了 VAComp 框架。该方法利用度量校准恢复全局尺度,并通过双棋盘法完成反向相机标定,实现了裸眼设置下的虚拟物体替换与外观材质修改。系统开发了两种非迭代混合方法(VAComp-SD 和 VAComp-SI),结合高斯几何校正与学习光度补偿,单次前向传播即可生成补偿图像,在真实实验中分别实现了实时更新和交互速率性能。
论文提出假设场景图(HSG)架构,将持久 3D 家具实体与可修订的表面物体假设分离,以解决小物体检测脆弱及场景变更后陈旧条目残留问题。在此基础上构建的 HSGNav 支持多尺度终身导航:检索阶段根据目标规模选择证据,探索阶段获取额外表面观测,验证阶段确认目标存在或剔除矛盾记录。
SimDuoReal 探索了从简单物体中心学习目标中涌现复杂双手灵巧性的可能性。研究通过共享奖励在强化学习中训练策略,使其在无手工设计运动序列的情况下发现预抓取、抓取、换手及手部调整等行为。
针对机器人在未见环境中寻找目标物体的挑战,本文提出了 CPNav 导航框架。该框架结合碰撞感知规划与统计校准的 VLM 动作评分,无需地图即可实现物体目标导航。
论文介绍 GUARD 框架,该框架利用扩散和流匹配生成的机器人策略的训练分布构建异常信号,将其与稀疏任务奖励结合并通过学习到的 Q 函数传播以引导去噪过程。在 Adroit 平台的四个灵巧操作任务中,该方法在标称和扰动动力学下平均成功率分别达到 96.0% 和 80.0%,优于最强基线 21.0 和 20.0 个百分点且保持最低异常分数。
推荐理由:提出利用训练分布中的异常信号引导去噪过程,在不修改预训练策略的情况下提升灵巧操作成功率与仿真到现实迁移效果。
论文介绍 UniLatent 框架,旨在解决机器人数据集因几何、外观和运动学差异难以复用的问题。该方法在仿真中渲染成对的源目标机器人观测,将源视觉编码器对齐到冻结的目标编码器,使基于编码源演示训练的策路能直接在目标观测上运行,无需像素级图像翻译。
该研究利用公开的新闻走场视频,验证了生成式世界模型结合 3D 高斯泼溅技术将普通影像转为度量级可探索 3D 场景的可行性。实验显示,商业世界模型在少量帧输入下能恢复相机姿态与深度并融合为约 74.7 万个高斯泼溅点,但在未观测区域外推失败且需脚本填充;本地优化的高斯泼溅虽真实但仅在拍摄路径附近有效。
百度Apollo在深圳AI Day首次披露智能体驱动的全模态世界模型Apollo World,提出“2+3”判断标准以支撑高安全要求的自动驾驶验证。该模型具备因果性、交互性及物理准确性等核心能力,支持行程级闭环测试与多场景按需复现,旨在降低真实路测成本并加速车端迭代。
BirdDreams 是一种自动驾驶世界模型,能够联合生成视角视频和鸟瞰图(BEV)视频,将场景布局纳入预测的未来中。该模型通过两个扩散 Transformer 的联合注意力机制,在无需 HD 地图或车辆状态输入的情况下,仅凭单张相机图像即可生成更合理的自车运动及周围车辆行为。
Boston Dynamics 发布视频展示 Atlas 人形机器人通过腿部加装轮子进行移动的实验。该实验结合经典模型控制与全身强化学习,旨在验证在无序真实地形中的动态稳定性及系统失效响应。
波士顿动力 Atlas 团队工程师 Xiaoyu Wu 分享了将 Atlas 机器人改装为轮式的研究项目,通过替换脚踝执行器并调整模型,利用强化学习实现了侧滑漂移和空中转体等高难度动作。该项目旨在验证在硬件极限下全身体控制器与真实执行器的协同效果,成功缩小了仿真与现实差距,相关技术洞察已反馈至标准配置中。
推荐理由:作者分享了将 Atlas 机器人改装为轮式并成功通过强化学习实现高难度动作的测试床项目,验证了精准电机模型与全身体策略在硬件极限下的协同作用。
11月5日,菜鸟在香港智慧港宣布向AI与具身智能企业开放全球仓网,打造物流实景训练集群,覆盖仓储拣选、自主导航等数十个行业场景。同时推出“科技出海三日达”服务,解决高科技产品跨境运输、海外部署及售后运维难题。截至2026年10月,菜鸟物流科技已在全球29个国家落地超1100个项目,消费级机器人等业务收入同比增长一倍以上。
进博会上,安波福宣布首批它石智航A系列机器人进入真实产线,计划2026年底前完成百台级部署并覆盖8大工艺;同时向合作伙伴供应高性能计算平台。舍弗勒启用太仓数智工厂,集成制造、场景训练与数字孪生功能,人形机器人相关业务订单约4亿欧元。
针对传统闭环评估依赖图像生成与感知重编码导致成本高且存在仿真实隙的问题,本文提出 FlowSim 这一免渲染仿真范式。该方法直接从上一帧潜在表示和目标帧符号场景条件预测内部潜在表示,绕过图像渲染和感知重编码步骤。
推荐理由:提出免渲染的闭环仿真范式 FlowSim,直接预测潜在表示以加速端到端系统评估。