无模型运行时任务相关信息测量方法
针对现有系统缺乏对信息收集过程有效性的监测问题,本文提出了 Acquisition-State Telemetry (AST),一种无需训练即可评估信息获取状态的架构。
推荐理由:提出无模型架构 AST,通过实时监测信息获取摩擦与进展信号,帮助自主系统在任务完成前识别无效停滞并优化策略。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
425 条精选近 30 天 289 条共收录 1,722 条
针对现有系统缺乏对信息收集过程有效性的监测问题,本文提出了 Acquisition-State Telemetry (AST),一种无需训练即可评估信息获取状态的架构。
推荐理由:提出无模型架构 AST,通过实时监测信息获取摩擦与进展信号,帮助自主系统在任务完成前识别无效停滞并优化策略。
论文 FastWild-GS 针对互联网照片曝光、光照及瞬态物体差异导致单套高斯颜色无法解释所有图像的问题,提出利用 128 维 Photo Appearance Token 和每通道变换参数描述每张图像。
推荐理由:提出 FastWild-GS,利用 Photo Appearance Token 将野外场景高斯泼溅训练时间从小时级缩短至分钟级。
针对预训练潜在世界模型在部署时因物理动力学改变而失效的问题,本文提出一种无需修改预训练权重或识别具体参数变化的少样本残差适应方法。该方法通过自监督学习从潜在预测误差中获取修正项,同时应用于潜在预测器内部及其预测的潜在状态,且保持预训练世界模型冻结。
推荐理由:该文提出一种冻结预训练权重的少样本残差适应方法,在质心与摩擦变化场景下恢复机器人控制成功率。
该研究提出 When2Go 系统,通过共享意图和构建路线时间冲突图来解决协同自动驾驶中的死锁与碰撞风险。系统在 V2Xverse、InterDrive 等基准上取得优于现有方法的驾驶得分与无碰撞率,但仅基于仿真环境测试,未涉及真实车辆部署或路测许可。
推荐理由:提出共享意图的协同端到端系统,在封闭回路基准上超越现有方法并解决死锁问题。
Google DeepMind 正式发布 Gemini Robotics 2.5,这是其目前最强大的视觉语言动作(VLA)模型,旨在提升机器人学习速度与广度。该模型在超过 200 项任务测试中,相比基线成功率高出 30% 至 100%,完成任务速度快 20% 至 30%。
推荐理由:原文介绍了 Gemini Robotics 2.5 在任务广度、可靠性与安全方面的提升,并披露了与奔驰产线合作的实测数据及 ASIMOV-Jailbreak 基准。
蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch 及其轻量版 Tiny,旨在解决原始触觉信号导致动作模型性能下降的问题。该模型将磁、视、压阻三类传感器数据统一编码为触觉 Token,支持跨硬件与传感器布局的泛化。
推荐理由:蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch,通过统一编码解决多传感器数据异构难题,显著提升机器人精细操作成功率。
论文提出 GeoWind2Plan 框架,解决城市低空飞行中建筑重塑风场导致的路径规划能耗依赖问题。该框架将建筑几何转化为参考风场帧,利用局部几何条件化的神经算子快速预测任务相关的三维风片并拼接成局部风场,随后基于物理驱动的无人机能量模型优化可行路径与速度剖面。
推荐理由:该框架在仅用背景风与建筑几何的条件下,实现约 3 秒的走廊局部三维风场预测,相比 CFD 快数千倍,且规划出的轨迹在 CFD 评估下显著降低能耗。
论文提出了首个针对毫米波雷达的新视角合成(NVS)可微分点溅射渲染器 3DPS。该方法直接源于雷达方程的标准立体角形式,为每个定向 3D 点构建基于 ITU-R P.2040 介电常数和板层反射的材料模型,并通过预计算的点扩散函数将复数相量溅射到距离单元中。
推荐理由:提出首个基于点溅射的毫米波雷达新视角合成渲染器,在保持复数域物理保真度的同时大幅缩短训练时间。
论文提出 FogDrive 数据集,基于 CARLA 生成约 660 个场景(共 13.3 万帧),每个场景包含清晰参考及三种校准后的雾密度版本。数据涵盖相机、深度、语义分割、LiDAR、语义 LiDAR 和雷达等多模态传感器响应。
推荐理由:该数据集提供分级雾况下的多模态仿真场景,支持在已知能见度下训练感知模型并验证去雾策略的有效性。
论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。
推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。
论文挑战“仿真无法直接迁移至现实”的共识,证明在足够大规模的合成训练数据下,无需真实数据采集或微调即可实现静态与移动操作的零样本泛化。作者开源了 MolmoBot-Engine 生成管线及包含 170 万专家轨迹的 MolmoBot-Data 数据集,并基于此训练了三类策略模型。
推荐理由:提出仅靠大规模合成数据即可实现零样本现实世界操作,并开源了生成管线与百万级轨迹数据集。
该论文测试了单步随机码本匹配(nearest-of-m)在冻结 DINOv2/v3 令牌上的表现,发现 m=16 即可覆盖枚举的未来且延迟约为扩散方法的 1/30。研究证实该方法在模式不确定性下优于多步流匹配和能量分数生成器,但指出其在连续高维输出上存在欠分散性限制,且准确的风险分析并未提升规划成功率。
推荐理由:该文在冻结 DINOv2/v3 令牌上验证了单步随机码本匹配方法,发现 m=16 即可覆盖枚举未来且保持低延迟,同时揭示了该方法在连续高维输出上的欠分散性限制。
针对传统训练策略与学习分布耦合的问题,本文提出 World In-Context Learning (WICL) 范式,利用冻结模型在仿真环境中对任务进行排练并将反馈写入上下文而非权重。
推荐理由:提出将反馈写入上下文而非权重的范式,在仿真中通过排练实现跨场景泛化。
论文介绍 WanderBench 基准,包含 745 个真实与 AI 生成的单镜头视频及键盘动作路线,评估六维度的 24 个子指标。测试发现现有模型在长片段中虽保持静态场景和画质,但丢失相机控制与源动态,且无法保持一致的 revisit 地点。作者提出 WanderLand 免训练框架,通过条件化同一时刻源内容与早期静态内容提升表现,部分维度最高改善 8.3 分。
推荐理由:提出 WanderBench 基准与 WanderLand 框架,揭示视频条件生成在长序列中丢失动态一致性的问题并提供免训练改进方案。
针对现有视频生成模型在物理动态上表现脆弱的难题,本文提出 PhysOPSD 方法,引入可执行代码作为特权物理上下文,将真实场景转化为可验证的仿真程序。该方法通过双级物理特权和受控物理变化,在仅用 3K 样本的情况下显著优于监督微调与强化学习基线,同时保持视频生成质量。
推荐理由:提出用可执行代码作为特权上下文,以少量样本提升视频生成的物理合理性。
作者 Dibyendu Ghosh 提出 Motion Belief Action(MBA),这是一个基于场景地图的决策层,用于处理机器人无法直接观测的物理状态与风险。
推荐理由:提出 Motion Belief Action 决策层,在真实厨房与多地点场景中提升物体存在判断与推拉风险决策能力。
针对仿真策略在真实硬件上因非理想性而性能下降的问题,论文提出 GAP 框架,通过梯度引导网络学习如何调整动作而非直接执行动作,将适应先验从仿真迁移至物理硬件。实验显示该方法在仿真阶段相比现有基线提升约 2.4 倍 F1 分数,且在真实灵巧手上对三首不同难度的乐曲分别提升了 3.6% 至 23% 的 F1 分数,展示了减少真实世界交互成本的有效路径。
推荐理由:提出利用梯度引导网络学习适应先验,在仿真阶段提升钢琴演奏任务的样本效率并迁移至物理硬件。
论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。
推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。
该研究提出利用代理在物理仿真中进行自学习以掌握翻动物体的基础操作技能。通过迭代学习,系统逐步习得手递手、推倒、抓取感知及薄物体操控等子技能,将任务成功率从 24.7% 提升至 95.0%。最终生成的基于图形的代码集成了高层策略选择与反应式控制,已验证可在实体机器人上实现多阶段翻动物体操作。
推荐理由:论文展示代理在物理仿真中自主习得翻动物体技能,成功率从 24.7% 提升至 95%,并生成可迁移到实体机器人的代码。
论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。
推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。