面向视觉导航的统一世界模型:基于记忆增强的规划与前瞻
针对现有系统将导航规划与世界建模解耦导致状态 - 动作对齐弱的问题,论文提出 UniWM,这是一个统一的多模态自回归世界模型,整合了以自我为中心的视觉前瞻与规划。
针对现有系统将导航规划与世界建模解耦导致状态 - 动作对齐弱的问题,论文提出 UniWM,这是一个统一的多模态自回归世界模型,整合了以自我为中心的视觉前瞻与规划。
该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
推荐理由:该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
论文提出 Analytic Robot Self-Model,该方法利用多视图图像和关节读数建立高斯外观模型并推断刚体连杆分配,同时通过稀疏末端执行器位姿独立识别度量螺旋轴。
推荐理由:提出无需变形网络或 CAD 模板的解析式机器人自建模方法,通过多视图与关节读数显式学习运动学参数。
AnyRank 提出一种结合顺序检验与多假设图检验的方法,用于在有限硬件试次下对多个机器人策略进行自适应分配并随时提供带错误概率界定的部分排名。该方法可利用仿真或视频世界模型生成的先验信息提升效率,即便先验不完美也不影响统计保证。实验表明,AnyRank 所需硬件评估次数较现有严谨方法减少高达 50%,同时避免了启发式基准产生的错误排序。
论文提出 RoboHarness 框架,为 LLM 智能体提供视觉几何控制面板以直接理解和调用具身任务。实验显示,结合该框架的 Qwen3.8-Flash-Next 在 BEHAVIOR Challenge 2025 任务上超越了最先进 VLA 模型。代码已开源。
GroundingPI 是一个 4B 参数的接地基础模型,通过生成共享词汇表中的量化坐标(点和框)来精确指定目标物体及其位置。该模型结合多模态与空间预训练、监督微调及 GRPO 强化学习,在涵盖 11 种感知能力的 34 个基准上平均达到 73.68% 的准确率,超越 GPT-6 Astra(71.54%)。
推荐理由:该论文提出 GroundingPI 模型,在多项感知基准上超越 GPT-6 Astra,并证明专用感知预训练对机器人操作和自动驾驶的有效性。
该研究针对开放环境下具身智能的长视界最短轨迹探索难题,指出传统单点预测在部分可观测性下易导致决策脆弱。论文提出利用条件流匹配将目标预测重构为条件多模态锚点生成,结合障碍物感知规划、几何聚类压缩及分层选择模块,最终选出最优可执行轨迹。实验表明该方法提升了开放环境中的泛化能力与重建效率。材料已获 NeurIPS 2026 spotlight 接收,预印本发布于 arXiv。
该研究展示了一种结合柔性基底与离散约束的腱驱动机器人水母,其八个执行器由四个伺服电机驱动,可实现最大约150°弯曲及稳定游泳、姿态调整与自复位。基于线性致动特性开发的强化学习控制器,在仿真与物理实验中均实现了闭环深度调节,证明了机械约束能提升软致动可控性同时保持顺应性运动。
该研究提出跨学科流程,在 2023-2025 年间通过七次活动评估三款机器人在公园清扫、人行通道清洁及图书馆互动协助任务的表现。评测聚焦任务完成度、交互质量、安全性与经济可行性,证实通用指标难以完全捕捉环境真实性带来的挑战。结论建议采用包含安全强制项的共享度量选择与文档化程序,而非固定指标集,以支持技术就绪等级 6-7 的系统过渡。
针对从人类视频中学习操作技能难以横向比较的问题,作者提出 RoboReel 统一评测基准。该基准包含捆绑的真实世界人类演示视频、仿真机器人轨迹及十个操作任务的评估环境。
推荐理由:提出 RoboReel 统一基准,涵盖真实演示视频、仿真轨迹与十项操作任务,评估视觉语言动作模型在抗干扰及长程任务上的表现。
该论文针对强化学习在足式运动控制中策略表征理解不足的问题,通过计算网络雅可比矩阵的有效秩,发现将条件变量设定为步态相位能揭示全局分析无法捕捉的表示结构。研究指出,引入残差连接和层归一化的架构相比普通 MLP 能在摆动主导状态分配更多有效秩维度。基于此提出的诊断建议可在仿真及物理 Spot 机器人上降低高达 2 倍的关节抖动,证明策略容量在步态周期内的分布与仿真实验到现实部署的迁移效果密切相关。
针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。
推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。
针对视觉语言动作模型(VLA)在处理需要精确物理交互的接触丰富任务时表现不佳的问题,该研究识别了精度失效和力失效两种主要模式,并提出 FACT 方法进行改进。FACT 通过在后期训练增加低噪声采样以优化精细动作预测,并引入结构化力条件引导动作生成。在涵盖近 2,500 次真实世界部署的评估中,该方法在五类接触丰富任务上的平均成功率达到 66%,优于最佳基线方法的 41%。
推荐理由:该工作通过 FACT 方法在接触丰富任务中将成功率提升至 66%,为理解 VLA 失效模式及改进提供了新视角。
FELT 是一个利用现有成对视觉 - 触觉数据学习接触感知表征的框架,通过冻结视觉编码器和独立的查询解码器为下游策略提供生成的触觉图像或接触感知特征。在四项富接触的真实机器人任务实验中,直接融入学习到的接触感知特征使成功率提升 15-22.5 个百分点,证明了该方法无需真实触觉硬件即可提升操作性能。
推荐理由:该框架利用视觉数据生成触觉表征,在四项真实机器人任务中使成功率提升 15-22.5 个百分点。
该论文提出 EDAR 框架,旨在解决传统方法仅编码动作流结构而忽略环境作用的局限。通过将动作 token 锚定在执行控制结构与预期视觉后果上,该方法鼓励学习空间捕捉交互语义而非单纯命令模式。实验在仿真和真实机器人基准上进行,结果显示 EDAR 能提升下游策略学习性能,尤其在长序列操作任务中表现显著。
针对预训练视觉语言动作模型难以兼顾长时序视觉历史与高效性的问题,该研究提出 NativeMEM 框架。其核心是 Native Memory Compression 方案,利用 VLA 自身的视觉编码器将多路摄像头的历史帧压缩为单个 token 并追加至输入序列,使模型能以极低延迟关注长期记忆而无需外部规划器或新初始化模块。
SPACE 提出一种受蚂蚁觅食启发的共享环境场机制,通过吸引前沿、排斥探索和快速密度场引导数十至数百个地面机器人集群协同。在 HouseExpo 和 KTH 数据集的十六套家居与八处校园场景中,该算法使接触率降低四到十七倍且覆盖时间仅增加约两百分之一,位于经验帕累托前沿并优于贪婪最近前沿规划器。论文已被 IEEE ROBIO 2026 接收,代码与权重暂未提及开放许可。
针对城市人行道导航中复杂结构与动态行人行为带来的挑战,本文提出 SidewalkBench 基准。该基准基于 NVIDIA Isaac Sim 构建,包含程序化生成与真实扫描的高保真场景,并集成了丰富的反应式行人事件与高效动画系统。
推荐理由:SidewalkBench 基于 Isaac Sim 构建高保真城市人行道仿真环境,对 9 个视觉导航模型在行人交互与长程任务上的表现进行量化评估。
针对视觉语言动作模型指令映射脆弱且难以可靠执行的问题,作者提出一种无需微调预训练模型的交互式搜索框架。该方法将优化后的语言序列蒸馏为测试时语言反馈策略,并引入改进头预测引导效果,通过共形化方法防止在分布外场景下性能下降。实验显示,在仿真环境中任务成功率提升 24.7%,硬件实验中提升 65.0%。
该论文介绍 Perceptive BFM 框架,旨在解决现有运动中心基础策略假设参考动作已物理兼容环境的局限。方法包括开发地形一致参考合成(TCRS)技术,通过足点构建、摆动优化等将人类运动片段转化为符合地形参考;训练盲适应参考教师网络并通过目标帧动作对齐迁移至部署端学生模型;学生模型为身份门控 Transformer 追踪器,利用残差路径保留先验并仅在必要时进行局部修正。
推荐理由:该预印本提出将人类运动先验适配至机器人地形感知的框架,通过合成地形一致参考与盲适应教师网络实现策略迁移。
论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。
推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。
针对气动机械臂平台 - 操作臂耦合、历史依赖及负载变化导致的复杂动力学建模难题,本文提出一种结构化编码器 - 解码器框架。其中非线性历史编码器捕捉时序与变量间依赖关系,轻量级线性潜变量解码器支持部署时的快速自适应。
针对现有视觉惯性 SLAM 受限于窄视场导致在复杂场景漂移的问题,作者构建了覆盖不同光照、高度及轨迹长度的全景视觉惯性数据集 PanoAir,并提出利用全向视场的特征提取与回环检测框架。实验表明该方法在自建数据集及公开基准上均表现优异,完成全部 17 个序列且无跟踪失败,绝对轨迹误差较最佳基线降低最高达 47.1%,并在嵌入式平台上验证了工程可行性。代码与数据已开源。
本文介绍了 TRAIN 框架,旨在解决传统四足机器人导航中运动规划与步态控制分离、忽视全身约束及地形感知的问题。
该方法提出基于多智能体强化学习的集中训练分散执行策略,结合模型预测控制思想与距离加权平均场观测扩展技术。实验通过对比、消融及真实机器人验证了其在随机环境下的有效性与泛化性能。论文为 arXiv 预印本版本,代码与权重未提及开放许可。
论文介绍了一种基于梯度的求解器,用于强制执行信号时序逻辑(STL)规范。该方法通过引入最小值和最大值的下近似及其 SparseMax 投影梯度,证明了其构建的稳健性既满足声性(Soundness),又能在任意时间步长下保持对违反样本的梯度权重有正的下界。
论文介绍 Self-Building Labs(SBL),该系统能从空房间或现有设施出发,自动构建实验室布局、数字孪生、机器人技能及实验工作流以达成高层科学目标。研究通过量子点合成实验验证了其在不同机器人与配置下的端到端能力,旨在提升科学自动化的可访问性、灵活性与可扩展性。
论文提出 ECHOES 框架,解决长视界 GUI 智能体依赖视觉历史导致成本高或文本摘要丢失关键信息的问题。该方法利用训练时的特权多图像输入作为教师模型,对基于 Compression-Think-Action (CTA) 格式生成的学生模型进行 token 级在线策略蒸馏,并通过感知 - 记忆保真度差距指导动态平衡。
该研究提出了 MOSS 系统,这是一种紧凑型两栖机器人平台,采用 3D 打印的折纸轮和曲柄机构实现轮宽、直径及鳍片方向的同步切换。收缩构型在坚实地面滚动更高效,而展开构型在软土、沙地和水域中表现更好,将运输成本降低最多 29%。系统在土壤、泥沙、水和跨地形过渡测试中均成功完成形态变化与连续运动,证明了自适应几何结构对复杂环境的有效适应性。
该论文提出 PRIME 方法,旨在解决机器人操作中难以准确评估任务进度的问题。现有方法常错误地将人类操作失误视为有效进展,而 PRIME 通过构建连接不同轨迹状态的加权图,利用空间距离和视觉一致性编码转换成本,以最短路径搜索近似成功状态的距离。
Learning Robot Metareasoning 将最优计算预算识别为半马尔可夫决策过程,通过强化学习策略根据状态动态调整机器人动作承诺与求解器时间。该方法在地面导航、敏捷四旋翼飞行及富接触操作任务中,均能自适应发现高效推理模式并超越固定预算基线。该研究解决了规划与反应的历史权衡问题,相关代码与论文已作为实验性预印本公开。
针对复杂环境中四旋翼同时应对密集静态障碍物和移动障碍物的挑战,本文提出 TransNav 方法。该方法采用基于 patch 的点云编码方案融合局部特征与全局上下文,将感知与导航集成于单一架构并直接预测有限时域的动作序列。
推荐理由:提出基于 Transformer 的端到端导航方法,结合点云编码与无监督学习策略,在静态及动态环境中实现四旋翼避障。
该论文提出将 FOUND-IT 几何与语义基础模型集成至移动操作平台,以构建实时、任务驱动的开放集 3D 场景图。通过严格的在机实验评估了该系统在物体变化检测、多会话建图、可导航路径确定及直接抓取支持等任务中的有效性。材料指出尽管传统机器人建图技术已有广泛演示,但将此类新型空间记忆整合到完整自主性管道仍需基础与系统层面的突破。代码已开源于 GitHub。
论文提出 Hindsight Inverse JEPA Planning (HIJP) 框架,旨在解决基于世界模型的视觉规划需进行昂贵在线搜索的问题。该方法通过引入目标条件逆模型直接预测动作,并在训练阶段利用回顾性重标记策略塑造视觉表征与动作转换的一致性。
推荐理由:提出 HIJP 框架,通过隐式逆动力学替代在线搜索实现无搜索规划,在四项视觉控制任务中成功率达 86.8% 且速度提升显著。
TRACO 框架提出执行驱动监督与进度引导选择机制,解决固定目标监督在物理状态演化时的失配问题。实验表明该方法在多模型及仿真环境中提升了任务重定向成功率,揭示了闭环攻击优化的安全风险。该研究为提升 VLA 模型安全性提供了新的优化视角。
该论文研究如何利用异构双臂系统(配备吸盘和平行夹爪)协同完成单一末端执行器难以胜任的复杂操作任务。作者提出了一种感知驱动的规划框架,将执行过程建模为有限时域优化问题,在每一阶段动态决策单臂操作或双臂协作交接,并联合推理抓握可行性、运动约束及跨抓爪兼容性。实验基于双 Franka FR3 平台进行,结果表明该方法显著提升了原本无法通过单抓爪执行的任务的可行性和可靠性。
推荐理由:原文提出了一种针对异构双臂操作的感知驱动规划方法,通过联合优化臂轨迹分配与抓握切换策略,在双 Franka 平台上验证了其在复杂任务中的可行性提升。
针对非结构化环境中的移动操作任务,本文提出了一种结合混合任务表示与任务优先全身学习的强化学习框架,旨在协调运动与操作并保持任务一致的末端执行器行为。研究团队开发了轻量级四足操作机器人平台进行验证。实验结果显示,该方法在坡度高达 30 度、楼梯及可变形地形等复杂场景中成功部署,证明了所学习策略在真实环境中的可行性及全身协调对地形自适应的重要性。
针对具身智能在开放世界中因遮挡和视角变化导致空间关系感知困难的问题,该研究提出了一种名为 AWAM 的主动世界 - 动作模型(Active World-Action Model)。
论文针对机器人操作杂乱物体时主动相机运动导致初始观测状态分布偏移的问题,提出 ActiveAlign 框架。该方法利用学习到的视点模块生成相机轨迹,离线通过闭环对齐将轨迹终点连接至现有演示并保留成功续集进行微调;部署时仅需在 VLA 策略前加入该模块而不修改架构。
针对机器人记忆系统仅凭成功率无法验证任务相关事实有效性的问题,本文提出了干预式记忆评估协议(IMEP)。研究在检索接口对比了目标事实替换与事实保留替换的效果,并引入 ChainBench 基准测试历史信息的必要性。实验显示,跨集学习库中特定干预改变了 11.9% 的结果,而完整记忆配置将任务成功率从 39.1% 提升至 74.3%,证实了正确历史信息对决策的支持作用。
推荐理由:提出 IMEP 协议与 ChainBench,证明记忆系统需通过事实特异性干预评估而非仅看成功率。
最多提供 50 页,更早的内容请使用搜索或主题页。