跳到正文
11月3日周二
  1. arXiv · 机器人与计算机视觉78

    MOST:面向长视界移动操作的物体状态与任务进度记忆

    论文提出MOST框架,将多视角观测压缩为时间令牌,并通过监督物体状态和子任务进度来结构化记忆,直接条件化动作生成。该方法在RoboCasa365、RoboCasa-Long基准及真实机器人实验中均优于Xiaomi-Robotics-1模型,平均成功率从65.9%提升至72.1%,长任务最大进度从20.83%提升至42.22%,真实世界成功率从6.66%提升至43.33%。

    推荐理由:提出MOST框架,通过压缩多视角观测为时间令牌并监督物体状态与子任务进度,在长视界移动操作中优于现有最先进模型。

  2. arXiv · 机器人与计算机视觉85

    STEER:面向自动驾驶的路由感知自适应推理方法

    针对视觉语言动作模型在自动驾驶中过度使用思维链导致计算开销大且可能降低规划性能的问题,论文提出了 STEER 策略。该方法无需场景难度标注,通过路由不确定性感知采样和对齐环境奖励的跨路由优势信用分配,实现从直接响应到复杂推理的动态切换。实验表明,STEER 在 NAVSIM v1/v2 基准上兼具高规划质量与高效的推理效率前沿性能。

    推荐理由:提出无需场景难度标注的自适应推理策略,通过路由不确定性与环境奖励优化规划性能。

  3. arXiv · 机器人与计算机视觉58

    Words Before Pixels:基于选择性模态路由的视觉语言模型遗忘方法

    论文指出当前视觉语言模型(VLM)遗忘研究多聚焦目标设计,忽视了遗忘样本在进入优化前的数据表示形式问题。作者构建了模态分解基准,通过实验发现文本表示比纯图像更能有效抑制不安全指令遵循行为,但纯文本遗忘可能削弱依赖视觉证据的视觉定位能力。

  4. arXiv · 机器人与计算机视觉84

    低参数 regime 下视觉语言动作模型的行為引导

    论文研究了如何用极低容量(8 至 384 个可训练参数)的 TinyLoRA 适配器对预训练的 OpenVLA-OFT 7B 策略进行行为引导,使其在保持预训练能力的同时适应如“举高物体”等风格偏好。

    推荐理由:该文展示了仅用 256 个可训练参数即可通过微调改变 VLA 执行风格,同时保留大部分预训练能力。

  5. arXiv · 机器人与计算机视觉81

    WorldSketch:用于零样本移动操作的草图化世界模型

    论文提出 WorldSketch 新范式,让视觉语言模型作为智能体主动查询感知工具构建并验证最小运动学世界模型,仅捕捉任务相关对象及其交互几何与可能运动,再由几何规划器联合优化接触与全身运动。

    推荐理由:提出由 VLM 构建最小运动学世界模型的范式,在 RoboCasa 等基准实现零样本成功率达 91%,显著优于现有基线。

  6. arXiv · 机器人与计算机视觉56

    通过时空语义融合实现交互式物体搜索:一种结合 VLM 可信度与几何占位证据的三维信念场方法

    本文提出了一种将语义直觉与几何感知融合至显式三维信念场的交互物体搜索系统,旨在解决现有方法仅依赖单一模态(纯几何或语言模型)的局限。系统通过贝叶斯对数几率滤波累积每个物体的 VLM 可信度分数和几何占位证据,形成统一的高维信念场以驱动行动选择,包括从不同视角观察、导航至未探索区域或与封闭柜体进行物理交互。研究在双足移动机器人上进行了端到端部署,结果表明该方法优于仅基于几何或语言模型的规划方法。

  7. arXiv · 机器人与计算机视觉75

    SIEVE:通过深度感知令牌压缩保留跨图像证据

    针对多图像视觉语言模型处理长序列时的计算开销问题,论文提出免训练的单次遍历框架 SIEVE。该方法先将每幅图像池化为紧凑空间网格以降低早期处理成本,随后利用提示注意力在等配额下逐步选择代表并聚合未选令牌,确保每幅图像均有独立表征且保留跨图像互补证据。

  8. arXiv · 机器人与计算机视觉47

    Teach-Abstract-Apply 框架实现协作机器人对话驱动任务学习与技能抽象

    Teach-Abstract-Apply(TAA)框架允许操作员通过自然语言向协作机器人教授新工作流,并将其抽象为可复用的技能。该框架在结构搭建任务中利用 Qwen3-Coder 和 GPT5.2-Codex 模型评估显示,技能抽象提升了任务成功率并降低了交互成本。初步人机闭环研究证实该流程也能响应人类指令,支持未来生产环境的通用化应用。

11月2日周一
  1. arXiv · 机器人与计算机视觉62

    面向通用形态控制的上下文 MDP 中共享模块化循环研究

    论文提出一种利用上下文信息并利用深度强化学习智能体模块化结构的通用控制器架构。针对机器人形态高度不相似且部分上下文特征不可用的挑战,该方法通过模块化交互恢复特征,旨在提升多机器人控制及对新环境的泛化能力。作者在 MuJoCo 大型机器人集上评估了基于 Transformer 的共享模块化循环架构,结果显示其在未见动力学、运动学和拓扑结构的机器人上实现了显著的零样本泛化性能提升。

  2. arXiv · 机器人与计算机视觉82

    GUI-Lens:通过粗到细裁剪实现通用 VLM 的精确 GUI 定位

    该论文介绍 GUI-Lens 框架,旨在解决通用视觉语言模型(VLM)在高分辨率、高密度界面中难以精确定位目标的问题。方法从截图提取 OCR 文本和 UI 组件作为坐标参考,利用指令和当前视图让 VLM 选择并裁剪放大下一区域,通过多轮聚焦逐步确定目标位置,最后将局部坐标映射回原屏幕。

    推荐理由:提出粗到细裁剪框架,使通用 VLM 在高分屏 GUI 任务中定位精度提升显著。

  3. arXiv · 机器人与计算机视觉67

    DRScaffold:提升轻量级视觉语言模型在密集场景中的推理能力

    论文指出轻量级视觉语言模型在标准基准上表现尚可,但在需要多步推理的密集场景中常出现脱离视觉实体的流畅但无根据的推理链。为此,作者提出了包含 14,573 个问题的 DRBench 基准,并设计了 DRScaffold 监督微调框架,在不修改架构的情况下将监督目标分解为四个因果有序阶段以增强 grounded reasoning。

  4. arXiv · 机器人与计算机视觉60

    Specification-Aware Distribution Shaping for Robotics Foundation Models

    该论文针对机器人基础模型缺乏形式化约束保证的问题,提出了一种感知规范的动作分布优化框架。该方法在不修改预训练模型参数的情况下,通过在决策步骤利用前向动力学传播推理剩余时间步,计算满足硬 STL 可行性约束的最小动作分布修正。研究在仿真环境中使用最先进的机器人基础模型进行了验证,涵盖了多种环境和复杂规范。

  5. arXiv · 机器人与计算机视觉75

    π-StepNFT:基于流的视觉语言动作模型在线强化学习中更宽空间需要更细粒度步骤

    针对流式视觉语言动作(VLA)模型在多步去噪中政策梯度在线强化学习难以处理的难题,本文提出 π-StepNFT 框架。该方法将观测到的随机微分方程(SDE)过渡视为监督单元,利用方差归一化的转换误差对镜像正负速度分支进行排序,并将回滚反馈映射到局部速度更新,从而在不计算最终动作似然的情况下耦合更宽的随机探索与更细的步骤级监督。

  6. arXiv · 机器人与计算机视觉45

    VisualSphinx:首个大规模合成视觉逻辑推理训练数据集发布

    VisualSphinx 提出了一种从种子问题提取规则并生成可执行渲染程序的图像合成管线,构建了首个大规模合成视觉逻辑推理训练数据集。实验显示,基于标准 GRPO 和二元正确性奖励训练的 VLM 在该数据集上展现了提升的逻辑连贯性与可读性,并在代数、算术及几何等推理任务中表现更佳。该工作旨在解决当前 VLM 缺乏大规模结构化训练数据的问题,相关代码与项目页面已公开。

  7. arXiv · 机器人与计算机视觉58

    FOCUS:基于最优传输监督的观测模仿一阶控制

    论文提出 FOCUS 框架,解决从状态演示进行行为模仿时缺乏时间对应的问题。该方法结合局部最优传输对齐与短视界可微演员 - 评论家学习,无需时间对齐轨迹或教师强制初始化。在 DFlex 平台包含 152 个肌肉激活的人形机器人接触丰富运动任务中,FOCUS 相比对抗性模仿及先前的可微模仿基线,显著提升了样本效率与训练稳定性。

  8. arXiv · 机器人与计算机视觉78

    Nexus-VLA:通过共享分层语义隐空间桥接人类与机器人经验

    针对大规模自中心人类视频存在视觉外观、运动学结构和动作空间等本体差距的问题,论文提出 Nexus-VLA 混合策略学习框架。该框架引入分层跨本体语义对齐范式,从任务意图到细粒度交互逐步建立共享操作语义,并设计共享操作隐表示以直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置及真实机器人实验中,该方法实现了 80.5% 的任务成功率,展现了高效的人类数据利用率和跨场景泛化优势。

    推荐理由:提出 Nexus-VLA 框架,通过端到端联合训练实现跨本体知识迁移,在 RoboCasa-GR1 上达到 80.5% 成功率。

  9. arXiv · 机器人与计算机视觉72

    Movens-Zero:基于大规模人类视频扩展人形运动基础模型

    该论文提出了 Movens-5M 数据集和 Movens-Zero 架构,旨在解决人形机器人运动基础模型训练数据稀缺及多模态联合学习难题。Movens-5M 包含 1500 万个人类动作序列和 500 万个可执行的人形动作序列,涵盖超 10,000 小时视频,并与文本、RGB 图像、语音及音乐对齐。

  10. arXiv · 机器人与计算机视觉67

    META-Robot:具身智能体的自认知与能力扩展框架

    论文介绍 META-Robot 框架,旨在解决基于大语言模型的机器人代理在泛化新任务时依赖复杂脚手架的问题。该框架通过引入动作级谓词使执行结果显性化,结合本体感觉反馈将物理状态融入自我认知过程,帮助智能体识别自身局限并扩展评估标准与技能库。

  11. arXiv · 机器人与计算机视觉78

    SketchMate:基于代理几何推理的零样本精密插入方法

    针对现有基于视觉语言模型的机器人操作输出过于粗糙无法完成精密插入的问题,该方法提出让 VLM 构建仅包含几何原点和配合面的任务草图模型,由标准规划器执行并复用记忆。在仿真测试中,该方法在 69 次插入尝试中成功装配了 88% 的零件,而同等基线方法成功率为零;通过重用存储的草图运行,新任务的单次生成时间从约 90 秒降至 3.4 秒,且仅在遇到不熟悉的零件时才调用 VLM。

    推荐理由:该方法利用 VLM 构建任务草图记忆,在仿真中实现零样本高精度插入,显著降低对大模型的调用频率并提升成功率。

  12. arXiv · 机器人与计算机视觉82

    ResMerge:面向预训练机器人策略持续适应的残差策略学习与合并方法

    针对真实世界部署中机器人需持续适应新任务的挑战,本文提出 ResMerge 框架,在冻结的预训练策略之上学习可合并的残差策略。该方法利用残差强化学习(RL)在无额外专家演示的情况下获取任务特定修正,并通过参数空间合并整合兼容残差以减少存储参数。

    推荐理由:提出 ResMerge 框架,通过残差强化学习与参数空间合并实现预训练策略的持续适应,无需额外专家演示且减少存储参数。

  13. arXiv · 机器人与计算机视觉72

    VLA 策略不知何时不该行动:意外任务执行与启动抑制问题

    论文研究了六款 VLA 模型在 LIBERO-Goal 仿真环境中对空、中性或无意义指令的响应。结果显示所有模型在空指令下均会移动,且五款常完成未指定任务;GR00T 的两款虽由指令决定任务但无法抑制启动。测试了三种抑制方法:前缀提示无效,门控机制在五款中有效,微调策略虽不完成任务但无法可靠保持静止或抑制不可行指令下的启动。

  14. arXiv · 机器人与计算机视觉74

    SACQ:面向超低比特视觉语言动作模型的感知结构代码本量化方法

    针对视觉语言动作(VLA)模型显存占用大且传统后训练量化在超低精度下失效的问题,该研究提出 SACQ 框架。该方法结合感知结构的代码本拟合、基于动作误差增加的混合比特分配及两阶段后量化细化,在 GR00T N1.7 上实现 1.5 比特权重下的平均成功率 93.85%,显存降低 4.83 倍,同时保持推理速度提升。材料为 arXiv 预印本,未提及开源代码或商用许可状态。

  15. arXiv · 机器人与计算机视觉59

    BioAgent:面向长周期实验室协议的自导向技能获取与能力成长

    论文介绍 BioAgent,一种具身智能体,用于解决执行不熟悉实验室协议时的能力不足与实验有效性验证问题。该智能体能匹配人类审核需求、选择工具实现缺失行为并在必要时请求人工教学;执行过程中通过前置条件、结果及状态检查控制进程并支持自主恢复。

  16. arXiv · 机器人与计算机视觉75

    HIPC:基于目标条件运动闭合的人形迭代规划与控制

    论文提出 HIPC 框架,将生成式运动模型与控制器耦合为统一范式,以解决开环追踪导致的空间漂移及闭环反馈引发的物理抖动问题。该方法采用标准运动表示避免万向节锁,并通过偏差衰减恢复和历史重锚定策略缓解分布外偏移,最终在多种条件下实现了最先进的目标到达精度与抗扰动能力。

  17. arXiv · 机器人与计算机视觉78

    TinyAstral:将自进化 Harness 迁移至小型通用操作智能体

    论文 TinyAstral 提出一种两阶段方法,通过递归自我改进(RSI)优化大教师模型的 harness,随后蒸馏出仅 4B 参数的小型学生模型以替代原教师。

    推荐理由:提出两阶段方法将大模型的 harness 进化能力迁移至小参数学生模型,在 RoboTwin 上显著降低算力成本并提升成功率。

  18. arXiv · 机器人与计算机视觉55

    STAR:通过本体感知引导 VLA 动作表征以增强推理能力

    针对视觉语言动作模型(VLA)晚期层缺乏任务相关视觉定位的问题,本文提出 STAR 方法。该方法无需模型更新或架构修改,通过对晚期残差更新应用指数移动平均,使后期动作表征继承早期层的物体感知方向;同时利用近期本体状态自适应混合强度,在执行动力学快速变化时采用保守混合策略。

  19. arXiv · 机器人与计算机视觉53

    基于置信度的端到端策略安全过滤

    针对端到端策略缺乏安全性保证的问题,本文提出一种与过滤器无关的管道,根据策略的置信度动态调整安全过滤器的保守程度:在策略可靠域内提升性能,在超出该域时增加安全余量。初步仿真结果显示该方法结合了宽松与保守过滤器的优势。材料为预印本论文,未报告真实机器人部署结果。

  20. arXiv · 机器人与计算机视觉54

    Drone-PUR:从视觉线索发现到无人机场景的理解与推理

    论文介绍 Drone-PUR 数据集与基准,旨在解决通用视觉语言模型(VLM)在无人机场景中因小目标、细微属性及视角变化导致的感知与理解局限。该基准包含 11 项任务,涵盖单图、序列、跨模态及多视角数据,共提供 17.5 万训练样本和 2 万经人工审核的测试样本。

11月1日周日
  1. Hugging Face Daily Papers82

    Democratizing Robot-Use Agents: A Unified Harness with Open Models

    论文介绍 uni-robot-agent 框架,旨在通过开放权重模型降低机器人使用代理(RUA)的研究门槛。实验显示,无需特权输入时,Qwen3.8-Flash-Next 在 RoboDojo 基准上得分 31.39,超越 GPT-6 Astra-RoboProbe 的 28.97 分,并在 19 个真实世界任务中表现具有竞争力。

    推荐理由:该工作提出统一框架 uni-robot-agent,验证了开源模型在无特权输入下即可达到与闭源模型相当的零样本操作能力。