基于语言对标的力/力矩预训练用于外接触感知
该论文提出了一种方法,通过模拟抓取放置任务的监督数据将冻结的语言空间与双边六轴力/力矩历史信号对齐,从而构建出具有语义结构的物理状态表示。研究结果表明,该方法在仿真环境中未见过的物体上支持对机器人动作、物体重量及抓握交互的文本原型读出;在真实世界放置任务中,无需更新编码器即可实现接触与支持状态的识别,性能优于垂直力符号反转规则的基线。
该论文提出了一种方法,通过模拟抓取放置任务的监督数据将冻结的语言空间与双边六轴力/力矩历史信号对齐,从而构建出具有语义结构的物理状态表示。研究结果表明,该方法在仿真环境中未见过的物体上支持对机器人动作、物体重量及抓握交互的文本原型读出;在真实世界放置任务中,无需更新编码器即可实现接触与支持状态的识别,性能优于垂直力符号反转规则的基线。
论文提出了 OpenFlyV2,这是一种统一的机载视觉 - 语言 - 动作架构,旨在解决现有系统依赖离板计算或无法在资源受限平台上维持闭环运行的问题。该模型利用共享的视觉 - 语言表示支持语义理解、基于语言的感知、空间推理和连续空中控制,并通过紧凑的动作专家将多模态上下文转换为短时程飞行航点。
推荐理由:该工作提出统一机载视觉语言动作架构,实现零样本仿真到真机四旋翼飞行迁移,代码将公开。
针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。
推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。
该研究提出了 Catch It All! 框架,旨在让类人机器人仅凭一个以自我为中心的相机,就能对未见过的物体进行通用化且能适应的接球操作。系统通过精心设计的抓取奖励学习策略,能够实时适应物体的姿态和形状,并具备安全感知课程以在硬件极限(如低至 5 Nm 的手腕扭矩)附近执行高频动作。
arXiv 预印本论文 Self-Supervised Doppler-Guided RF Odometry 提出 RFWalk 框架,利用射频信号进行自监督里程计估计。
针对机器人导航中需应对未知物体及其相互影响(如叉车搬运托盘)的挑战,本文提出一种基于元学习的图神经网络方法。该方法利用物体的语义、几何及关系历史,仅需少量在线观察即可准确预测新环境中物体的启动时机。实验表明,该模型仅在仿真中训练,无需微调即可成功迁移至硬件,在仿真和硬件实验中均优于视觉语言模型及类别频率基线,并能支持闭环导航中的无碰撞穿越。
针对传统帧相机在高速运动下的模糊与延迟问题,本文提出一种基于 CUDA 的事件相机仿真器,将其集成到可微分物理仿真管线中以支持端到端策略训练。该方法直接映射事件帧至控制指令,无需中间深度估计。作者在四旋翼平台上实现了零样本真实部署,验证了其在助航与无导航设置下的鲁棒性,包括常规相机失效的低光环境。
GradSplat 是一种无需目标视图的前馈模型,通过在正向传播内部引入学习到的梯度步骤来优化自身高斯的形状、不透明度与颜色。该方法结合对数各向异性校正和循环更新机制,在 RealEstate10K 六个视图协议下优于九种方法,且在 ScanNet++ 上表现最佳。代码将在指定链接发布。
论文介绍 TERRA(Targeted Exploration for Reward-Relevant Adaptation),一种在线自适应框架,旨在解决仿真与真实世界在变形地形上的差距。
针对恶劣天气限制户外计算机视觉部署的问题,该方法利用结构保留的低秩适配器(LoRA)在 Stable Diffusion XL (SDXL) 中分析注意力块并学习结构矩阵。实验表明,该框架无需 ControlNet 等外部条件即可生成高保真数据,在提升合成真实性的同时有效保留了场景结构,为户外应用提供鲁棒的训练与评估数据管线。
论文提出 ELEVATE 框架,通过识别任务规划中的持续失败来自动获取缺失的全身控制能力。系统从单个预训练控制器出发,自主习得了墙支撑提升、受助操作和下降等七项仿真任务的控制策略,并在后续任务中复用这些控制器。
推荐理由:该框架利用任务失败自动获取缺失的全身控制能力,并在仿真与物理机器人上验证了跨任务迁移效果。
论文提出了 SimRetract 框架,实现了开放手术中机器人从外科医生手中接管牵开器并保持张力的首个零样本仿真到现实迁移任务。该策略仅基于模拟演示训练,无需真实世界微调或人类演示。
该研究指出单一标签无法决定机器人执行内容,因策略输出需经过滤波、物理缩放等处理。在 PegInsert、GearMesh 和 NutThread 三项工厂任务中,对比五种关节空间接口发现,仅替换物理动作尺度使样本中位数成功率变化 0.645-1.000,移除指数移动平均则产生依赖任务的变化。
针对视觉强化学习中渲染与推理成本高昂的问题,本文提出了 Echo 方法,这是一种单阶段的离线强化学习框架。该方法利用基于状态的辅助策略进行逆蒸馏,收集无需渲染的低成本经验,并通过共享特权评论器直接改进视觉策略。
推荐理由:提出单阶段离线强化学习框架,利用逆蒸馏收集无渲染经验以加速视觉策略训练。
论文提出 GOFish,这是首个能直接基于鱼眼图像训练、渲染超过 180°视场并从同一场景提取对齐网格的 3D Gaussian Splatting 表面重建方法。
作者发布了基于 Genesis 构建的 DexSuite 全合一仿真框架,集成了 30 个任务、10 种机械臂、12 种末端执行器及标准化环境 API。该框架提供遥操作接口与模拟触觉传感,并定义了包含 16 对任务 - 本体组合的基准,同时开源了来自人类遥操作、脚本专家及学习策略生成的 4,700 个成功仿真集数数据集。
文远知行披露旗下子公司景烁科技完成7000万元Pre-A轮融资,资金将用于业务扩张及运营。该公司致力于构建物理AI时代的数据及世界模型基础设施,自研了打通数据全流程的WorldEngine平台、面向物理场景的生成式统一世界模型GENESIS-Robotics以及全栈自研采集硬件EGOK。景烁科技称其世界模型能将机器人技能冷启动周期由数月压缩至数周,并已与全球数十家大模型公司及具身智能企业建立合作。
本文提出并验证了机器人面对未知物理条件进行诊断以改善行为的六个必要顺序条件:有意义的参考、可识别性、证据使用、决策价值、相对于固定替代方案的选择价值以及安全实现。
论文针对机器人系统融入社会所需的法律规范整合问题,扩展了法律源文本与其编码对齐的同构性难题,重点测量了感知误差导致的接地同构差距以及单一法律结论对应多种规划约束的本体论同构差距。
论文 OctWorld 提出一种带有持久化 3D 记忆的扩散视频生成框架,针对长距离相机路径下的空间一致性难题,引入可扩展且自适应分辨率的 OctMap 模块,将生成的视觉观测与深度图融合至全局八叉树表示。实验表明该方法在现有基准及挑战性长程设置下均优于先前方法,并提供了清晰的代码与项目页面链接。
该论文提出了一种语言驱动的导航框架,使移动机器人能够理解自然语言请求并自主导航至目标位置。系统由模块化 ROS 2 组件组成,能识别环境中的目标物体、利用 RGB-D 数据估计其位置并生成导航指令,最终通过 ROS 2 Nav2 栈执行。
本文提出利用大规模抓取数据集支持机械臂在工具使用中的功能性灵巧性,而非仅限于抓取生成。研究构建了一个包含 35.5 万条轨迹的抓取预训练数据集,结合分层模仿学习框架对底层控制器进行预训练和微调。
针对人类演示质量不一致的问题,论文提出 LOPAL 方法,利用高斯混合模型编码轨迹及其局部质量评估,并通过共享自主机制在数据缺失区域请求用户修正。该方法在仿真与真实世界管道检测实验中均有效,实现了最高 27.31% 的性能提升并减少了数据采集努力。材料已接受 IEEE RAL 发表,预印本链接为 arXiv:2606.16888。
论文提出 TALON 方法,通过冻结 ViT 主干网络并在自注意力层前注入时空 3D 适配器,结合基于原型的 KL 散度损失实现 patch-token 几何对齐。该方法在 SPADES 数据集上将姿态误差降低 50%,在 SwissCube 数据集上 ADD-0.1d 精度提升 21.8%,且在 SPARK 真实数据上的零样本跨域评估将误差减少 4.7 倍。
针对长视野接触型操作中仅模仿成功样本监督不足的难题,该研究提出 RePO-VLA 框架,通过恢复感知初始化、进度感知语义价值函数及价值条件化微调等技术,将对抗性成功率从 20% 提升至平均 75%。材料介绍了 Failure-Recovery Benchmark (FRBench) 基准测试,并在仿真与真实世界双臂任务中验证了该方法的有效性。
推荐理由:RePO-VLA 框架通过区分成功、恢复与失败轨迹,利用价值条件化微调提升 VLA 模型的鲁棒性。
AnyCXR 框架仅需合成监督即可在 PA、侧位及斜位等多种真实投影视角下,零样本泛化分割 54 个人体解剖结构。该方法结合多阶段域随机化引擎生成超 10 万张高多样性合成 X 光片,并利用条件联合标注正则化策略处理不完美标签以维持解剖一致性。实验证明该方案能显著降低标注负担并提升模型在多样化成像条件下的鲁棒性,支持心脏胸廓比估算等下游临床任务。
该论文针对稀疏事件响应导致的关节点误差问题,提出一种可靠性感知框架以估计航天器姿态。系统通过三分支表示结合正负事件及时间信息,利用有序语义点头估计对应关系精度,并结合事件边缘与 CAD 投影一致性进行局部姿态优化。
针对独立开发的自主智能体在共享环境中需保证联合兼容性的问题,本文提出了一种双层结构:由监管方发布种子智能体,各开发者独立测试其智能体以确保与所有种子兼容智能体的兼容性(即未来-proofness)。
针对多指灵巧手的内手持物体姿态调整任务,本文提出了一种无需人类数据即可在仿真中训练的策略配方,涵盖多样化重置、生成抓握数据集及自适应摩擦课程。通过系统辨识,该策略可零样本迁移至真实 LEAP 机械手,仅需手腕深度相机或动作捕捉即可实现。
推荐理由:本文提出无需人类数据的灵巧手策略训练配方,并通过学习到的残差安全滤波器将物体掉落率降低 75%,同时保持高成功率。
本文介绍了一种针对四旋翼穿越移动窄缝任务的端到端视觉控制策略,该策略直接基于机载视觉和惯性测量输出推力与姿态指令。研究提出可微分移动间隙公式,将稀疏的穿越事件转化为密集的路径目标,无需教师、规划器或蒸馏即可从随机初始化训练。
推荐理由:提出可微分移动间隙公式,实现无需教师或规划的端到端视觉控制策略,在仿真与真实四旋翼上均验证了从随机初始化直接学习动态窄缝穿越的能力。
针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。
推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。
这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。
推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。
该研究提出了一种由神经网络控制的固定翼拦截无人机系统,该网络直接将单目视觉观测映射为执行器指令。策略通过自定义 Python 环境中的强化学习和近端策略优化进行训练,并在仿真中与经典引导控制器进行了对比测试。最终该系统在真实飞行场景中成功拦截了机动目标,验证了人工智能在自主控制固定翼拦截无人机方面的潜力。
针对汽车雷达仿真成熟度不足的问题,该研究提出了基于光线追踪的 FMCW 雷达仿真框架 AuRaSim。该框架利用 Blender 构建动态场景并集成 Sionna RT 进行 GPU 加速的电磁波射线追踪,同时引入了路径分辨传播、运动感知多普勒建模及相干 ADC 立方体合成等雷达专用适配。
针对机器人策略评估仅依赖二元成功信号的问题,研究团队提出 QCP 方法,支持在推理阶段动态控制执行速度、运动平滑度等质量属性及其组合。该方法通过迭代回顾重标循环收集在线轨迹并微调策略,实验显示其在 Robomimic 和 RoboEval 上持续提升任务质量与成功率,并在真实搬运酒杯等操作中验证了实用增益。
针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。
推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。
该研究针对世界动作模型(WAMs)提出去噪反事实协议,通过位级可复现分支和保留随机数消除执行噪声,准确测量候选动作的真实增益。研究发现标准估计高估了原生样本的可选增益,而结构化动作扰动可创造高达 16 分的增益空间;在动作条件化想象中,想象未来与真实未来信息无损。基于此构建的选择器仅在预测失败时偏离策略,使闭环任务成功率从 76.9% 提升至 81.6%,未见任务中提升最大。
该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。
推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。
论文提出 Omni-IGN,这是一个完全机载的图像目标导航系统,整合了四路鱼眼感知、注意力强化学习策略和碰撞安全层。系统在 Habitat 基准上优于连续动作基线,IsaacSim 飞行测试验证了结合学习型深度估计与安全层的避障有效性,真实世界实验实现了无需微调的外部定位零样本迁移。代码与模型检查点将在接收后发布。
该论文提出了 ActiveAlign 框架,旨在利用主动感知缩小真实世界到仿真再到真实的差距(Real2Sim2Real)。框架包含两个互补模块:ActiveAlign-Waving 通过主动手部运动和可微渲染进行手眼校准;ActiveAlign-Touching 则利用触觉反馈优化物体对齐以达到毫米级精度。