跳到正文
10月30日周五
  1. arXiv · 机器人与计算机视觉65

    基于语言对标的力/力矩预训练用于外接触感知

    该论文提出了一种方法,通过模拟抓取放置任务的监督数据将冻结的语言空间与双边六轴力/力矩历史信号对齐,从而构建出具有语义结构的物理状态表示。研究结果表明,该方法在仿真环境中未见过的物体上支持对机器人动作、物体重量及抓握交互的文本原型读出;在真实世界放置任务中,无需更新编码器即可实现接触与支持状态的识别,性能优于垂直力符号反转规则的基线。

  2. arXiv · 机器人与计算机视觉78

    OpenFlyV2:一种用于空中感知与导航的机载视觉语言动作模型

    论文提出了 OpenFlyV2,这是一种统一的机载视觉 - 语言 - 动作架构,旨在解决现有系统依赖离板计算或无法在资源受限平台上维持闭环运行的问题。该模型利用共享的视觉 - 语言表示支持语义理解、基于语言的感知、空间推理和连续空中控制,并通过紧凑的动作专家将多模态上下文转换为短时程飞行航点。

    推荐理由:该工作提出统一机载视觉语言动作架构,实现零样本仿真到真机四旋翼飞行迁移,代码将公开。

  3. arXiv · 机器人与计算机视觉85

    WorldFlow:通过大规模预训练实现视频与 3D 运动联合预测

    针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。

    推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。

  4. arXiv · 机器人与计算机视觉56

    Catch It All!:基于单目相机的通用动态接球框架

    该研究提出了 Catch It All! 框架,旨在让类人机器人仅凭一个以自我为中心的相机,就能对未见过的物体进行通用化且能适应的接球操作。系统通过精心设计的抓取奖励学习策略,能够实时适应物体的姿态和形状,并具备安全感知课程以在硬件极限(如低至 5 Nm 的手腕扭矩)附近执行高频动作。

  5. arXiv · 机器人与计算机视觉54

    通过元学习语义适应实现开放世界的物体运动预判

    针对机器人导航中需应对未知物体及其相互影响(如叉车搬运托盘)的挑战,本文提出一种基于元学习的图神经网络方法。该方法利用物体的语义、几何及关系历史,仅需少量在线观察即可准确预测新环境中物体的启动时机。实验表明,该模型仅在仿真中训练,无需微调即可成功迁移至硬件,在仿真和硬件实验中均优于视觉语言模型及类别频率基线,并能支持闭环导航中的无碰撞穿越。

  6. arXiv · 机器人与计算机视觉68

    通过可微分仿真学习事件相机避障

    针对传统帧相机在高速运动下的模糊与延迟问题,本文提出一种基于 CUDA 的事件相机仿真器,将其集成到可微分物理仿真管线中以支持端到端策略训练。该方法直接映射事件帧至控制指令,无需中间深度估计。作者在四旋翼平台上实现了零样本真实部署,验证了其在助航与无导航设置下的鲁棒性,包括常规相机失效的低光环境。

  7. arXiv · 机器人与计算机视觉59

    GradSplat:正向传播内基于梯度的前馈 3D 高斯泼溅

    GradSplat 是一种无需目标视图的前馈模型,通过在正向传播内部引入学习到的梯度步骤来优化自身高斯的形状、不透明度与颜色。该方法结合对数各向异性校正和循环更新机制,在 RealEstate10K 六个视图协议下优于九种方法,且在 ScanNet++ 上表现最佳。代码将在指定链接发布。

  8. arXiv · 机器人与计算机视觉44

    Structure-retained LoRA 用于天气合成以增强户外计算机视觉模型鲁棒性

    针对恶劣天气限制户外计算机视觉部署的问题,该方法利用结构保留的低秩适配器(LoRA)在 Stable Diffusion XL (SDXL) 中分析注意力块并学习结构矩阵。实验表明,该框架无需 ControlNet 等外部条件即可生成高保真数据,在提升合成真实性的同时有效保留了场景结构,为户外应用提供鲁棒的训练与评估数据管线。

  9. arXiv · 机器人与计算机视觉81

    ELEVATE:基于任务失败的四足机械臂控制器获取框架

    论文提出 ELEVATE 框架,通过识别任务规划中的持续失败来自动获取缺失的全身控制能力。系统从单个预训练控制器出发,自主习得了墙支撑提升、受助操作和下降等七项仿真任务的控制策略,并在后续任务中复用这些控制器。

    推荐理由:该框架利用任务失败自动获取缺失的全身控制能力,并在仿真与物理机器人上验证了跨任务迁移效果。

  10. arXiv · 机器人与计算机视觉49

    Same Label Different Interface:机器人学习中超越动作空间标签的接口研究

    该研究指出单一标签无法决定机器人执行内容,因策略输出需经过滤波、物理缩放等处理。在 PegInsert、GearMesh 和 NutThread 三项工厂任务中,对比五种关节空间接口发现,仅替换物理动作尺度使样本中位数成功率变化 0.645-1.000,移除指数移动平均则产生依赖任务的变化。

  11. arXiv · 机器人与计算机视觉83

    Echo:一种通过离线经验扩展视觉强化学习的单阶段框架

    针对视觉强化学习中渲染与推理成本高昂的问题,本文提出了 Echo 方法,这是一种单阶段的离线强化学习框架。该方法利用基于状态的辅助策略进行逆蒸馏,收集无需渲染的低成本经验,并通过共享特权评论器直接改进视觉策略。

    推荐理由:提出单阶段离线强化学习框架,利用逆蒸馏收集无渲染经验以加速视觉策略训练。

  12. arXiv · 机器人与计算机视觉58

    DexSuite:面向多臂与灵巧手的全合一灵巧操作仿真框架

    作者发布了基于 Genesis 构建的 DexSuite 全合一仿真框架,集成了 30 个任务、10 种机械臂、12 种末端执行器及标准化环境 API。该框架提供遥操作接口与模拟触觉传感,并定义了包含 16 对任务 - 本体组合的基准,同时开源了来自人类遥操作、脚本专家及学习策略生成的 4,700 个成功仿真集数数据集。

10月29日周四
  1. 智东西 · 机器人62

    文远知行子公司景烁科技获7000万Pre-A轮融资,布局世界模型与物理AI基础设施

    文远知行披露旗下子公司景烁科技完成7000万元Pre-A轮融资,资金将用于业务扩张及运营。该公司致力于构建物理AI时代的数据及世界模型基础设施,自研了打通数据全流程的WorldEngine平台、面向物理场景的生成式统一世界模型GENESIS-Robotics以及全栈自研采集硬件EGOK。景烁科技称其世界模型能将机器人技能冷启动周期由数月压缩至数周,并已与全球数十家大模型公司及具身智能企业建立合作。

10月28日周三
  1. arXiv · 机器人与计算机视觉68

    OctWorld:基于八叉树映射的长程世界一致视频生成框架

    论文 OctWorld 提出一种带有持久化 3D 记忆的扩散视频生成框架,针对长距离相机路径下的空间一致性难题,引入可扩展且自适应分辨率的 OctMap 模块,将生成的视觉观测与深度图融合至全局八叉树表示。实验表明该方法在现有基准及挑战性长程设置下均优于先前方法,并提供了清晰的代码与项目页面链接。

  2. arXiv · 机器人与计算机视觉58

    LOPAL:基于不完美演示的局部感知主动学习

    针对人类演示质量不一致的问题,论文提出 LOPAL 方法,利用高斯混合模型编码轨迹及其局部质量评估,并通过共享自主机制在数据缺失区域请求用户修正。该方法在仿真与真实世界管道检测实验中均有效,实现了最高 27.31% 的性能提升并减少了数据采集努力。材料已接受 IEEE RAL 发表,预印本链接为 arXiv:2606.16888。

  3. arXiv · 机器人与计算机视觉61

    TALON:面向 6-DoF 航天器姿态估计的 Token 对齐轻量化适配器

    论文提出 TALON 方法,通过冻结 ViT 主干网络并在自注意力层前注入时空 3D 适配器,结合基于原型的 KL 散度损失实现 patch-token 几何对齐。该方法在 SPADES 数据集上将姿态误差降低 50%,在 SwissCube 数据集上 ADD-0.1d 精度提升 21.8%,且在 SPARK 真实数据上的零样本跨域评估将误差减少 4.7 倍。

  4. arXiv · 机器人与计算机视觉78

    RePO-VLA:面向视觉语言动作模型的恢复驱动策略优化

    针对长视野接触型操作中仅模仿成功样本监督不足的难题,该研究提出 RePO-VLA 框架,通过恢复感知初始化、进度感知语义价值函数及价值条件化微调等技术,将对抗性成功率从 20% 提升至平均 75%。材料介绍了 Failure-Recovery Benchmark (FRBench) 基准测试,并在仿真与真实世界双臂任务中验证了该方法的有效性。

    推荐理由:RePO-VLA 框架通过区分成功、恢复与失败轨迹,利用价值条件化微调提升 VLA 模型的鲁棒性。

  5. arXiv · 机器人与计算机视觉42

    AnyCXR:利用多阶段域随机化合成数据实现任意投影视角的胸部 X 射线解剖分割

    AnyCXR 框架仅需合成监督即可在 PA、侧位及斜位等多种真实投影视角下,零样本泛化分割 54 个人体解剖结构。该方法结合多阶段域随机化引擎生成超 10 万张高多样性合成 X 光片,并利用条件联合标注正则化策略处理不完美标签以维持解剖一致性。实验证明该方案能显著降低标注负担并提升模型在多样化成像条件下的鲁棒性,支持心脏胸廓比估算等下游临床任务。

  6. arXiv · 机器人与计算机视觉58

    Polarity--Time Interaction and Multi-Level Reliability for Event-Based Spacecraft Pose Estimation

    该论文针对稀疏事件响应导致的关节点误差问题,提出一种可靠性感知框架以估计航天器姿态。系统通过三分支表示结合正负事件及时间信息,利用有序语义点头估计对应关系精度,并结合事件边缘与 CAD 投影一致性进行局部姿态优化。

  7. arXiv · 机器人与计算机视觉78

    基于学习的安全滤波器的灵巧手内手持物体姿态到达研究

    针对多指灵巧手的内手持物体姿态调整任务,本文提出了一种无需人类数据即可在仿真中训练的策略配方,涵盖多样化重置、生成抓握数据集及自适应摩擦课程。通过系统辨识,该策略可零样本迁移至真实 LEAP 机械手,仅需手腕深度相机或动作捕捉即可实现。

    推荐理由:本文提出无需人类数据的灵巧手策略训练配方,并通过学习到的残差安全滤波器将物体掉落率降低 75%,同时保持高成功率。

  8. arXiv · 机器人与计算机视觉83

    通过可微分仿真学习四旋翼穿越动态窄缝的视运动控制

    本文介绍了一种针对四旋翼穿越移动窄缝任务的端到端视觉控制策略,该策略直接基于机载视觉和惯性测量输出推力与姿态指令。研究提出可微分移动间隙公式,将稀疏的穿越事件转化为密集的路径目标,无需教师、规划器或蒸馏即可从随机初始化训练。

    推荐理由:提出可微分移动间隙公式,实现无需教师或规划的端到端视觉控制策略,在仿真与真实四旋翼上均验证了从随机初始化直接学习动态窄缝穿越的能力。

  9. arXiv · 机器人与计算机视觉82

    免渲染事件帧仿真加速自主机器人导航的强化学习

    针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。

    推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。

  10. arXiv · 机器人与计算机视觉82

    World Dreamer v5-lite:一种基于共享世界状态的多机器人动作模型

    这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。

    推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。

  11. arXiv · 机器人与计算机视觉68

    基于强化学习的固定翼自主拦截系统研究

    该研究提出了一种由神经网络控制的固定翼拦截无人机系统,该网络直接将单目视觉观测映射为执行器指令。策略通过自定义 Python 环境中的强化学习和近端策略优化进行训练,并在仿真中与经典引导控制器进行了对比测试。最终该系统在真实飞行场景中成功拦截了机动目标,验证了人工智能在自主控制固定翼拦截无人机方面的潜力。

  12. arXiv · 机器人与计算机视觉65

    AuRaSim:一种面向动态场景的汽车 FMCW 雷达射线追踪仿真框架

    针对汽车雷达仿真成熟度不足的问题,该研究提出了基于光线追踪的 FMCW 雷达仿真框架 AuRaSim。该框架利用 Blender 构建动态场景并集成 Sionna RT 进行 GPU 加速的电磁波射线追踪,同时引入了路径分辨传播、运动感知多普勒建模及相干 ADC 立方体合成等雷达专用适配。

  13. arXiv · 机器人与计算机视觉65

    Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling

    针对机器人策略评估仅依赖二元成功信号的问题,研究团队提出 QCP 方法,支持在推理阶段动态控制执行速度、运动平滑度等质量属性及其组合。该方法通过迭代回顾重标循环收集在线轨迹并微调策略,实验显示其在 Robomimic 和 RoboEval 上持续提升任务质量与成功率,并在真实搬运酒杯等操作中验证了实用增益。

  14. arXiv · 机器人与计算机视觉83

    PDRVLA:一种具备物理动力学表征的视觉语言动作模型

    针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。

    推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。

  15. arXiv · 机器人与计算机视觉69

    Best-of-N 策略如何助力世界动作模型?测量可选增益并在闭环中实现

    该研究针对世界动作模型(WAMs)提出去噪反事实协议,通过位级可复现分支和保留随机数消除执行噪声,准确测量候选动作的真实增益。研究发现标准估计高估了原生样本的可选增益,而结构化动作扰动可创造高达 16 分的增益空间;在动作条件化想象中,想象未来与真实未来信息无损。基于此构建的选择器仅在预测失败时偏离策略,使闭环任务成功率从 76.9% 提升至 81.6%,未见任务中提升最大。

  16. arXiv · 机器人与计算机视觉82

    从 12 到 200 次演示:ACT、Diffusion Policy、SmolVLA 和π0.5 在低成本机械臂上的扩展性研究

    该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。

    推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。

  17. arXiv · 机器人与计算机视觉58

    Omni-IGN:基于全景视觉的无人机机载图像目标导航

    论文提出 Omni-IGN,这是一个完全机载的图像目标导航系统,整合了四路鱼眼感知、注意力强化学习策略和碰撞安全层。系统在 Habitat 基准上优于连续动作基线,IsaacSim 飞行测试验证了结合学习型深度估计与安全层的避障有效性,真实世界实验实现了无需微调的外部定位零样本迁移。代码与模型检查点将在接收后发布。

  18. arXiv · 机器人与计算机视觉67

    ActiveAlign:基于主动感知的以自我为中心的操作对齐方法

    该论文提出了 ActiveAlign 框架,旨在利用主动感知缩小真实世界到仿真再到真实的差距(Real2Sim2Real)。框架包含两个互补模块:ActiveAlign-Waving 通过主动手部运动和可微渲染进行手眼校准;ActiveAlign-Touching 则利用触觉反馈优化物体对齐以达到毫米级精度。