跳到正文
10月28日周三
  1. arXiv · 机器人与计算机视觉72

    Goal2Pixel:将目标定位到像素以实现视觉语言导航

    针对连续环境中的视觉语言导航任务,本文提出 Goal2Pixel 方法,将导航重构为可见可通行像素的定位问题,利用图像平面作为统一空间接口替代低层动作预测。该方法引入 ViKeyMem 记忆机制和坐标感知辅助损失,在无需外部数据的情况下,于 R2R-CE 和 RxR-CE 基准上达到具有竞争力的最先进水平,单集 VLM 调用次数减少至原来的六分之一且成功率提升显著。

  2. arXiv · 机器人与计算机视觉82

    ReGuLaR:面向大视觉语言模型的关系 grounded 潜在推理框架

    针对现有链式思维推理难以编码连续视觉证据的问题,本文提出 ReGuLaR 框架,利用训练时的 ReGFormer 聚焦问题相关物体与关系,在推理阶段无需调用该模块即可生成答案。研究构建了 RGROUNDING-351K 数据集以支持模型训练,并在多个基准测试中取得了优于现有方法的最先进性能。

    推荐理由:提出基于关系的潜在推理框架 ReGuLaR,通过训练时显式建模物体关系提升大视觉语言模型的连续证据编码能力。

  3. arXiv · 机器人与计算机视觉78

    RePO-VLA:面向视觉语言动作模型的恢复驱动策略优化

    针对长视野接触型操作中仅模仿成功样本监督不足的难题,该研究提出 RePO-VLA 框架,通过恢复感知初始化、进度感知语义价值函数及价值条件化微调等技术,将对抗性成功率从 20% 提升至平均 75%。材料介绍了 Failure-Recovery Benchmark (FRBench) 基准测试,并在仿真与真实世界双臂任务中验证了该方法的有效性。

    推荐理由:RePO-VLA 框架通过区分成功、恢复与失败轨迹,利用价值条件化微调提升 VLA 模型的鲁棒性。

  4. arXiv · 机器人与计算机视觉42

    RAPID 机器人智能拆解平台:开源电动电池回收仿真与协作研究

    RAPID 机器人智能拆解平台通过集成龙门机械臂、RGB-D 感知及自动螺母工具,在真实场景下实现电动电池包的一键螺丝拆卸。实验对比显示,示教姿态策略成功率达 97%(耗时 24 分钟),视觉伺服为 83%(36 分钟),而基于 GPT-4o-mini 和 Qwen 3.5 的智能体在结构化工具接口下任务完成率达 100%,自动 ROS 服务发现失败率为 43.3%。

  5. arXiv · 机器人与计算机视觉72

    MO-Playground:面向机器人的大规模并行化多目标强化学习

    论文提出了 MO-Playground 和 MORLAX,旨在解决现有多目标强化学习算法无法有效利用大规模并行化的问题。MORLAX 是 GPU 原生的新算法,配合可 pip 安装的 MO-Playground 环境库,能在几分钟内近似帕累托集,相比传统 CPU 方法快 26-271 倍,相比先前的 GPU 方法快 19 倍,同时学习出更优的帕累托前沿超体积。

  6. arXiv · 机器人与计算机视觉73

    ThinkWorld:基于世界想象的链式动力学推理强化学习框架

    针对 VLA 模型泛化受限于动作标注数据的不足,本文提出 ThinkWorld 框架,将动作思考表示为连接当前与未来状态的离散运动序列(Chain-of-Dynamics)。该方法先利用带标注演示初始化,再通过预测未来状态并与观测结果匹配进行强化学习,使无标注视频能提供直接监督。实验在仿真和真实机器人上验证了有效的人机经验迁移及对新任务环境的泛化能力。

  7. arXiv · 机器人与计算机视觉42

    Which Hand Was Late? 机器人双臂工具使用故障诊断研究

    针对传统单臂扰动训练无法覆盖双臂工具使用中滑脱、时序错位及复合失败等新类型问题,该研究在仿真环境中测量了各传感通道对故障原因的识别能力。实验发现当工具手延迟时,被动传感无法区分是否同时存在推力不足,但基于内部状态的 VLM 诊断策略能在两重尝试内通过升级机制修复同等数量的故障。

  8. arXiv · 机器人与计算机视觉66

    Ego-CEVR:从人类第一视角视频中学习跨具身视觉表征

    论文提出了 Ego-CEVR 数据原生框架,旨在将低成本的人类第一视角视频转化为机器人操作能力。该框架包含全局模块和交互模块,分别通过未来预测学习物体关系与任务状态,以及结合腕部观测学习局部对齐与接触线索。系统支持在大规模人类第一视角视频及多样化机器人具身视频上独立预训练全局模块,无需机器人动作标签或成对的腕部观测数据。

  9. arXiv · 机器人与计算机视觉83

    PDRVLA:一种具备物理动力学表征的视觉语言动作模型

    针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。

    推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。

  10. arXiv · 机器人与计算机视觉50

    VLA-Stem:一种基于强化学习的轻量化 VLA 模型安全机制

    针对现有视觉语言动作(VLA)模型忽视空间约束与动态障碍物的问题,本文提出 VLA-Stem,这是一种无需微调底层策略的轻量级安全机制。该方法将动作块转化为运动参考,利用轨迹级引导保留空间意图,并结合机器人本体感知与局部障碍物信息在推理时自适应调整执行。

  11. arXiv · 机器人与计算机视觉82

    Tokens of Motion:基于原始运动学习的人形机器人技能迁移方法

    论文提出 Adaptive Failure-Informed Learning (AFIL) 框架,解决视觉语言动作模型依赖成功行为克隆导致的脆弱性问题。该方法利用预训练模型在线生成失败轨迹作为自适应负向引导,联合训练双动作生成器以共享视觉语言骨干网络。实验表明,该框架在域内及跨域任务中均能提升成功率与鲁棒性,且参数开销有限。

  12. arXiv · 机器人与计算机视觉56

    Retrieve to Act:基于运动原语图检索的鲁棒 VLA 执行方法

    论文介绍 Retrieve to Act (R2A) 测试时扩展框架,将分布外鲁棒性问题转化为几何运动原语检索问题。该方法构建离线时空运动原语图,利用查询依赖的图神经网络在推理时动态定位并检索兼容的未来运动原语,通过门控机制与冻结 VLA 预测动作融合,修正错误轨迹同时保持局部反应性。

  13. arXiv · 机器人与计算机视觉82

    从 12 到 200 次演示:ACT、Diffusion Policy、SmolVLA 和π0.5 在低成本机械臂上的扩展性研究

    该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。

    推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。

  14. arXiv · 机器人与计算机视觉48

    LBS 模型通过 GUI 锚定实现可迁移视觉观察,基于 Qwen3.5-35B-A3B 与 Qwen3.8-27B 在 PerceptionBench、HR-Bench 及 ChartQAPro 上超越基线

    LBS(Look Beyond Screens)是一种通过监督初始化 GUI 锚定轨迹并结合强化学习训练视觉语言模型,以支持跨界面任务观察的新范式。基于 Qwen3.5-35B-A3B 和 Qwen3.8-27B 的模型在固定推理设置下,于 PerceptionBench、HR-Bench 及 ChartQAPro 等基准上均超越对应基线。

  15. arXiv · 机器人与计算机视觉75

    LearnPrunerV2:面向视觉语言模型的可学习渐进式 Token 剪枝方法

    针对现有视觉语言模型 Token 剪枝存在标准不可靠、策略僵化的问题,本文提出 LearnPrunerV2。该方法在骨干网络每层集成轻量可学习模块,融合内在视觉显著性与外在查询相关性进行重要性估计,并引入预算确定性剪枝以建立硬件友好型调度。实验表明,在 LLaVA-v1.5 上剪除 77.8% 视觉 Token 时保留了 99.8% 原始性能,优于现有最先进方法。

  16. arXiv · 机器人与计算机视觉84

    基于评估引导的演示优化:MetaFine 开放竞赛获奖作品

    论文介绍了在 MetaFine Open Competition 中排名第一的视觉语言动作策略 MAI。研究从官方演示出发,针对抓取、推搡和插入等局部失败,通过修订运动轨迹并添加专家续写进行优化,同时保留原始演示用于训练。所有检查点均按指令比较,确保单一指令的收益不会掩盖其他指令的损失。最终提交以 96.66 分获得综合第一。

    推荐理由:作者针对 MetaFine 竞赛中的抓取与插入失败,通过局部评估指导演示修正并加入专家续写策略,最终提交 MAI 以 96.66 分获第一。

  17. arXiv · 机器人与计算机视觉83

    TOPS:重塑流源与传输以优化多任务机器人操作

    该论文提出 TOPS(Task-Oriented Priors and Schedules)方法,针对语言条件化的多任务机器人操纵问题,通过构建多模态任务源并调整去噪过程中的插值调度来适应不同运动需求。

    推荐理由:TOPS 方法通过调整流源先验与插值调度,在无需修改网络架构下提升多任务机器人操作的成功率与推理效率。

  18. arXiv · 机器人与计算机视觉71

    HIDRA:面向无回放终身模仿学习的分层双路由注意力框架

    论文提出 HIDRA 方法,通过分层双注意力机制解耦指令级专家检索与上下文依赖的细化,并引入关键几何正则化以稳定表示漂移下的路由选择。该方法在 LIBERO 基准套件上评估,相比无回放和有回放基线均表现更好,在高干扰和语言变化场景下提升显著。材料为 NeurIPS 2026 会议接收的预印本版本,代码已开源。

  19. arXiv · 机器人与计算机视觉78

    ASPEN:通过指令持久性预测实现高效导航的视觉语言动作模型自适应语义推理

    针对导航 VLA 策略重复调用昂贵语义推理的问题,作者提出 ASPEN 事件触发调度器,利用轻量多模态预测器结合时序观测、语言指令、执行历史和缓存置信度来估计冻结基线策略是否会重发旧指令。

    推荐理由:该工作提出基于指令持久性预测的事件触发调度器,在冻结基线策略下实现指令复用,显著降低推理成本并保持导航性能。

  20. arXiv · 机器人与计算机视觉78

    Learning to Read Braille:盲文识别评测与改进

    针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。

    推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。

  21. Hugging Face Daily Papers42

    SO-101 Bench:基于 Isaac Lab 数字孪生的低成本机器人空间操作基准

    SO-101 Bench 是首个针对低成本 SO-101 机械臂构建的仿真基准,支持语言条件约束的空间操作任务。该基准在包含 138 个物体的模拟环境中评估了九种 VLA 及世界动作模型,发现最佳策略成功率近 61%,而结合代码生成与抓取策略的智能体可达 83.2%。尽管仿真成功率高估真实表现,但五类无实机数据训练的策略在物理臂上排名完全一致(Spearman rho = 1.00)。

  22. Hugging Face Daily Papers78

    iPrefBench:面向个性化移动使用代理的用户中心基准

    iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。

    推荐理由:该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。

10月27日周二
  1. arXiv · 机器人与计算机视觉72

    JRDB-AVR:面向真实环境的具身智能体主动视觉推理基准

    本文介绍 JRDB-AVR 基准和参考方法 JRDB-AVR-Agent,旨在解决当前视觉推理评测忽视主动证据获取的问题。该基准基于真实世界 JRDB 机器人数据构建,要求智能体接收问题后主动请求特定时间戳和视角的观测,并评估最终答案与支撑证据的一致性。实验显示现有基线存在答案准确但缺乏依据的现象,表明需要引入主动感知评估。代码与基准已开源。

  2. arXiv · 机器人与计算机视觉48

    ActECC:面向边缘 - 云协作 VLA 推理系统的动作分块时序捕获技术

    ActECC 通过运动学引导的可用范围评估与延迟感知重规划调度,解决了边缘 - 云协作中动作分块的时序挑战。实验表明该方法将单步动作延迟降低最多 27.4%,云端调用减少最多 45.1%,并降低了平均执行误差。该研究为具身智能 VLA 模型的实时部署提供了关键优化方案。

  3. arXiv · 机器人与计算机视觉82

    通过双头优化从视觉语言模型进行简单有效的半监督知识蒸馏

    针对半监督学习中利用视觉语言模型(VLM)能力时面临的监督与蒸馏损失梯度冲突问题,本文提出双头优化(DHO)方法,为不同信号引入独立预测头以缓解冲突。实验在 15 个数据集上验证了该方法能提升特征学习效果,使小模型学生网络超越教师模型表现,并在 ImageNet 半监督学习与分布外泛化任务中达到新状态最优。代码与检查点已公开。

    推荐理由:提出双头优化方法解决监督与蒸馏损失间的梯度冲突,在多个数据集上超越单头基线并实现小模型优于教师模型的效果。

  4. arXiv · 机器人与计算机视觉72

    OneDemo:基于单一演示的统一策略学习与数据生成方法

    该论文提出 OneDemo 强化学习框架,将演示编辑建模为结构化问题,使智能体学会从稀疏奖励中切换对象中心轨迹段并进行几何适配。该方法在 Meta-World 的 15 个任务上平均仅需 53.7k 环境交互即达 92.7% 成功率;在 DexMimicGen 的 9 个任务上生成演示的平均成功率为 98.4%,基于此数据训练的 BC-RNN 策略在同等规模数据集下平均成功率达 99.6%。

  5. arXiv · 机器人与计算机视觉62

    CognitiveReality:基于 LLM Agent 的机器人无关语义高斯映射与沉浸式协作 VR 遥操作

    该论文提出 CognitiveReality 系统,将机器人的 RGB-D 流转化为由算子共享的实时语义索引高斯-TSDF 地图,支持通过配置适配不同平台。系统在定位中断时利用影子跟踪器和关键帧锚定 PnP 维持鲁棒性,并通过验证过的类型化工具将语音和控制器射线映射到持久化场景对象上。

  6. arXiv · 机器人与计算机视觉82

    VLN on the Fly:一种用于空中机器人的车载视觉语言导航栈

    VLN on the Fly 是一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,将指令落地、三维规划与控制作为可检查的独立阶段。该栈利用量化 VLM 进行粗粒度图像单元定位,通过深度估计提升为三维目标,使用快速 B-样条规划器生成可行轨迹,并由预训练的强化学习策略跟踪至电机指令。

    推荐理由:该预印本提出了一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,实现了指令落地、三维规划与闭环控制的分阶段执行。

  7. arXiv · 机器人与计算机视觉82

    ForceDelta-VLA:一种用于接触丰富操作的力条件动作修正蒸馏框架

    论文提出了 ForceDelta-VLA 框架,旨在解决现有 VLA 策略在接触丰富操作中难以分解任务级运动与接触调整的问题。该方法利用冻结教师模型的力条件与无学习模式预测构建显式的力修正目标,并引入延迟修正以处理参考动作失配。

    推荐理由:提出 ForceDelta-VLA 框架,通过蒸馏力条件动作修正提升接触丰富任务成功率至 82.2%,并降低峰值接触力。

  8. arXiv · 机器人与计算机视觉75

    单句修正能解决什么?——冻结的视觉语言动作策略失效分类与最小化语言校正研究

    当部署后的视觉语言动作(VLA)策略失败时,人工通常能用一句话描述问题,但并非所有错误都能通过语言修正。该研究对 OpenVLA-OFT 和 pi0.5 在 LIBERO-90 任务上的失效进行了标注与分类,发现仅“执行偏差”模式可通过单句校正解决,其他三类因缺乏目标或计划无法修复。

  9. arXiv · 机器人与计算机视觉68

    SHRIMP:基于自然语言的机器人任务计划迭代精炼系统

    SHRIMP 是一个允许用户通过自然语言自动生成机器人分层原语计划并进行迭代修订的系统。该系统利用大语言模型将指令转化为计划,并在每次修订中支持用户在仿真环境中验证计划,满意后再在物理机器人上执行。针对桌面厨房任务的实验(n=35)表明,该方法提升了用户的感知控制力并增强了机器人操作的透明度。相关系统视频与源代码已公开。

  10. arXiv · 机器人与计算机视觉80

    Hi-Token:用于生成式视觉定位的分层坐标分词方法

    论文提出 Hi-Token 显式编码坐标轴与位值,用 12 个 token 表示边界框;配合 Hi-GAR 几何奖励优化策略梯度。实验显示该方法在 RefCOCO 等基准上优于原子 token 基线及强专家长模型,且仅用于训练阶段。材料为 arXiv 预印本,未提及同行评审或正式部署状态。

    推荐理由:该预印本提出 Hi-Token 坐标编码与 Hi-GAR 奖励机制,在三个 VLM 主干上提升生成式视觉定位效果。