跳到正文
10月30日周五
  1. arXiv · 机器人与计算机视觉78

    解码几何而非 Token:用于机器人功能与轨迹预测的高效视觉语言模型

    论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。

    推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。

  2. arXiv · 机器人与计算机视觉78

    UMI-Live:面向野外数据采集的双手通用操作接口系统发布

    UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。

    推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。

  3. arXiv · 机器人与计算机视觉82

    Utility-WAM:修正由未来预测引发的动作变化

    世界动作模型(WAMs)可利用生成的视觉未来条件化机器人动作,但这会增加推理延迟且对某些任务产生负面迁移。本文提出 Utility-WAM 方法,在冻结共享 WAM 检查点的基础上引入残差适配器来修正速度偏差,并采用轻量级预生成门控机制复用反事实结果以跳过部分视频生成。

    推荐理由:提出 Utility-WAM 方法,通过残差适配器修正未来诱导的动作偏差并引入预生成门控机制,在保留长程预测优势的同时显著降低延迟与精度任务失败率。

  4. arXiv · 机器人与计算机视觉68

    Telling Is Not Seeing:文本人设极少让视觉语言模型像其所描述的人那样作答

    该论文研究视觉语言模型(VLM)使用“低视力”等文本人设是否能使其像所描述的人群一样感知。实验对比了 14 个模型的 persona 回答与真实低视力、色盲或听力受损人群的结果,发现 persona 从未胜过仅基于事实的简单规则,且抹平了群体差异。

  5. arXiv · 机器人与计算机视觉73

    MRC-MMAgent:面向多模态工具使用智能体的多角色协作强化学习

    论文提出了 MRC-MMAgent 框架,旨在解决现有强化学习管道仅训练单角色智能体而忽视人类在检索证据、重构查询和修正结论过程中的自我纠错机制的问题。该框架建立了一个整合求解、检查和续写的多角色协作循环,使智能体能通过工具获取证据、评估前序轨迹并在当前答案支持不足时恢复问题求解。

  6. arXiv · 机器人与计算机视觉78

    ProLoop:基于结构化状态关系的长视界机器人任务规划闭环框架

    针对 LLM 规划中子目标进度推断不准确导致错误传播的问题,本文提出 ProLoop 框架。该框架通过学习到的状态关系监测器,从期望与执行状态的关联中显式推导子目标的持续、偏离或完成状态,并据此指导执行适应。实验表明,该方法在 AgentBoard ALFWorld 和真实机器人平台上整体成功率提升 12.94%,困难任务提升 15.46%,同时减少环境交互次数 32.3%。

    推荐理由:提出 ProLoop 框架,通过结构化状态关系显式评估子目标进度,在 AgentBoard ALFWorld 及真实机器人平台上提升成功率并减少环境交互。

  7. arXiv · 机器人与计算机视觉78

    OpenFlyV2:一种用于空中感知与导航的机载视觉语言动作模型

    论文提出了 OpenFlyV2,这是一种统一的机载视觉 - 语言 - 动作架构,旨在解决现有系统依赖离板计算或无法在资源受限平台上维持闭环运行的问题。该模型利用共享的视觉 - 语言表示支持语义理解、基于语言的感知、空间推理和连续空中控制,并通过紧凑的动作专家将多模态上下文转换为短时程飞行航点。

    推荐理由:该工作提出统一机载视觉语言动作架构,实现零样本仿真到真机四旋翼飞行迁移,代码将公开。

  8. arXiv · 机器人与计算机视觉78

    基于上下文中行为适应的跨控制器迁移方法

    针对通用机器人策略通常假设单一控制器的局限,本文研究如何在不同控制器及增益设置间进行数据迁移而不产生冲突解释。提出的框架通过编码指令动作与机器人运动的行为交互示例,利用 Transformer 上下文编码器实现单策略在上下文中的自适应。

    推荐理由:提出通过上下文行为适应实现跨控制器与本体策略迁移,在接触类任务中显著提升成功率。

  9. arXiv · 机器人与计算机视觉78

    Event2Reward:从任务进展关系中学习机器人奖励

    针对机器人强化学习中绝对任务进度难以标注的问题,本文提出 Event2Reward 方法,结合归一化时间锚点与轨迹内局部相对进度约束来构建稠密塑形奖励。作者在约 10 万条真实机器人执行记录(含成功、次优及失败案例)上构建了事件标注数据集,无需帧级绝对进度标签即可训练。

    推荐理由:提出 Event2Reward,利用轨迹内相对进度关系解决绝对进度未知时的奖励塑造难题。

  10. arXiv · 机器人与计算机视觉35

    EmbodiExp:具身智能体通过组合经验实现任务迁移的框架

    EmbodiExp 框架提出基于子目标结果的体验构建方法,将策略、适用条件与可验证结果在线组合以指导动作生成。实验在多个具身基准上采用冻结经验库协议验证了有效性,利用失败轨迹提取局部成功并生成避错引导。该成果发表于 arXiv,属于预印本状态,代码与数据开放许可情况原文未详述。

  11. arXiv · 机器人与计算机视觉74

    通过错误与恢复追踪任务进度的基准与循环分布模型

    针对长程机器人任务缺乏错误恢复与帧级标注数据的空白,作者开源了包含 3156 个回合、涵盖两个操作任务的 ReSTEP 数据集,提供语义阶段标签和帧级错误注释。为此提出的 REMORA 在线进度估计器结合了循环视觉记忆、分布预测和因果峰值选择机制,以解决视觉相似阶段的区分与时间一致性难题。实验显示该模型在进度准确性和时序一致性上均优于现有最先进基线 SARM。

  12. arXiv · 机器人与计算机视觉75

    AtomTree:一种基于大语言模型的具有状态感知的具身指令遵循分层框架

    针对交互式环境中具身指令遵循的长程任务规划难题,现有方法依赖语言常识且仅在失败后更新计划导致鲁棒性弱。本文提出 AtomTree 分层框架,利用 LLM 根据当前符号状态增量构建子目标树,轻量记忆模块复用过往结果,并在底层动作停滞时触发层级回溯重规划以防止轨迹漂移。该工作在 ALFRED 基准的零样本评估中优于先前的基于 LLM 的规划器。

  13. arXiv · 机器人与计算机视觉47

    QbD-VLA:基于任务成功的视觉语言动作模型混合精度量化方法

    QbD-VLA 提出一种利用短闭环评估中任务成功率来分配权重与激活位宽的混合精度量化方案。实验覆盖四个 VLA 模型及全部 LIBERO 套件,在平均约 4 比特权重和少于 6 比特激活下保持强性能;SIMPLER 增益较小,Franka Research 3 机械臂上仿真优选策略对 X-VLA 无成功率损失但针对$\pi_{0.5}$失效。代码已开源,部署前需真实世界验证。

  14. arXiv · 机器人与计算机视觉73

    SaiVLA-JEPA:评估 JEPA 条件下 VLA 的未来潜在预测能力

    论文提出 SaiVLA-JEPA 架构,结合视觉语言模型与扩散 Transformer 动作专家,利用冻结的 V-JEPA 编码器特征进行控制。在 LIBERO-Plus 基准的 10,030 个配对集上测试发现,引入当前 JEPA 条件化使成功率从 71.6% 提升至约 82.5%,但增加未来监督未带来可检测的整体增益。

  15. arXiv · 机器人与计算机视觉45

    中世纪手稿图标自动标注:生成式视觉语言模型与监督判别分类器对比评测

    针对 9,735 张含 2,333 TIMEL 概念的中世纪全页图像,研究对比了微调 VLM 与基于冻结 DINOv3 编码器的 SDC。结果显示 ML-Decoder(SDC)在封闭词汇检索中精度最高(precision@1 为 0.696),而 VLM 凭借结构化 JSON 解码和验证校准重排序实现了更强的语义泛化(层级 F1 达 0.559)。

  16. arXiv · 机器人与计算机视觉58

    当“别担心”出错时:基础模型机器人的 HRI 教训

    文章基于三年 ROS 2 HRI 联盟经验,通过两个案例(机器人拒绝邀请后说“别担心”、访客在场时报到)揭示基础模型机器人虽具备感知与推理能力,但可能因顺序错误导致信息失真或责任边界失效。作者提出五个人机交互设计教训并引入 TRACE 审查方法,旨在解决基础模型机器人因能力增强而忽视责任边界与行动权威的问题。

  17. arXiv · 机器人与计算机视觉65

    MATCH:面向连续环境的视觉语言导航执行感知分层强化学习框架

    MATCH 是一个用于连续环境视觉语言导航(VLN-CE)的框架,它联合学习语言条件规划器和目标条件原语动作执行器。该框架利用执行感知的拓扑图整合执行器价值估计与实现结果记忆,并通过过渡感知密集宏观奖励平衡有序进度与执行残差。

  18. arXiv · 机器人与计算机视觉32

    $\pi_{0.5}$ 在 BEHAVIOR-1K 上的推理设置配对评估:什么真正重要?

    针对大规模多样化任务套件,研究对基于 2025 BEHAVIOR Challenge 冠军微调的$\pi_{0.5}$模型(公共测试集 Q-score 为 0.39)进行了系统性的推理与数据采集策略配对评估。结果显示,此前在小规模场景部署的策略无法均匀泛化到新环境与任务中。项目页面、视频及详细分析已公开。

  19. arXiv · 机器人与计算机视觉83

    Echo:一种通过离线经验扩展视觉强化学习的单阶段框架

    针对视觉强化学习中渲染与推理成本高昂的问题,本文提出了 Echo 方法,这是一种单阶段的离线强化学习框架。该方法利用基于状态的辅助策略进行逆蒸馏,收集无需渲染的低成本经验,并通过共享特权评论器直接改进视觉策略。

    推荐理由:提出单阶段离线强化学习框架,利用逆蒸馏收集无渲染经验以加速视觉策略训练。

  20. 盖世汽车 · 汽车资讯58

    启元机器人宣布接入腾讯WorkBuddy并签署战略合作

    在2026腾讯全球数字生态大会上,启元机器人正式宣布接入腾讯WorkBuddy,双方签署战略合作以联合打造云边端协同的消费级个人机器人方案。接入后,启元Q1和启元T1已打通腾讯会议、微信读书等技能,用户可通过自然语言编排创作机器人技能。这是典型的“大脑+本体”互补模式,旨在解决个人机器人生态应用开发难的问题。

  21. Hugging Face Daily Papers78

    RoboArchitect:自动化设计具备持久记忆的机器人代理

    论文 RoboArchitect 展示了一种无需更新模型权重的方法,通过代码模型观察机器人执行过程、诊断失败并迭代优化控制架构(harness)。该方法自动设计了直观的控制策略(如处理卡住的手臂)和持久记忆机制,在多个基准测试中,将通用策略在未见过场景的平均成功率从 9.7% 提升至 43.3%,在未见过任务中从 12.7% 提升至 40.2%。

    推荐理由:该工作提出无需微调即可自动设计机器人代理架构,显著提升了通用策略在未见场景与任务上的成功率。

10月29日周四
  1. 量子位72

    逐际动力开源FluxVLA Engine V2:打通具身智能训评测与真机部署全链路

    逐际动力发布FluxVLA Engine技术报告V2版,该开源工程底座支持在线强化学习后训练、扩展仿真评测范围并验证了从模型到多平台真机的闭环执行。实测显示推理频率提升最高9.64倍,LIBERO任务成功率显著提升,且通过实时动作分块协调解决了真机部署的连续性问题。

  2. Hugging Face Daily Papers73

    高效自适应训练:GUI 智能体的学习位置与 rollout 范围优化

    针对轨迹级 GRPO 训练中重复执行已掌握前缀及低效探索的问题,本文提出两阶段自适应框架。首先利用成功专家轨迹构建可复用中间检查点并基于动作分歧选择关键节点;第一阶段在节点处进行单步强化学习以改善局部决策;第二阶段随任务进展逐步扩展策略责任范围。实验显示该方法在 MobileGym 和 CUA-Gym-Hub 上相比基础 GRPO 减少环境交互 56-61% 并提升性能,相关预印本已公开。

  3. Hugging Face Daily Papers72

    Mage-VL-Cowork:一种从演化架构中学习混合计算机使用的完整训练配方

    论文介绍了 Mage-VL-Cowork,这是一个 4B 参数的混合计算机使用智能体(CUA),旨在将视觉 GUI 交互与代码及终端执行无缝结合。研究通过 Mage-CUA-Forge 合成超过 29.3 万个桌面和网页任务,并采用分阶段课程学习策略,最终在 OSWorld-Verified 基准上达到 66.0% 的准确率,实现了同参数量下的最先进性能。

  4. Hugging Face Daily Papers84

    CaPtain:一种用于后训练代码策略机器人的流水线

    论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。

    推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。

10月28日周三
  1. arXiv · 机器人与计算机视觉65

    基于时序触觉编码与人机协作的机器人双手交接研究

    针对视觉难以区分明确取物意图与偶然接触的挑战,该研究提出一种多模态方法,耦合视觉语言动作(VLA)模型与顺应控制器以降低交互力。系统通过 RGB 图像、时序触觉反馈和本体感觉进行微调,并在人体受试者研究中证明其优于无触觉或无控制的基线方案。

  2. arXiv · 机器人与计算机视觉58

    LOPAL:基于不完美演示的局部感知主动学习

    针对人类演示质量不一致的问题,论文提出 LOPAL 方法,利用高斯混合模型编码轨迹及其局部质量评估,并通过共享自主机制在数据缺失区域请求用户修正。该方法在仿真与真实世界管道检测实验中均有效,实现了最高 27.31% 的性能提升并减少了数据采集努力。材料已接受 IEEE RAL 发表,预印本链接为 arXiv:2606.16888。

  3. arXiv · 机器人与计算机视觉85

    FTP-1:一种面向多种触觉传感器的通用触觉基础策略

    FTP-1 是首个通用的触觉基础策略,旨在解决现有触觉策略依赖固定本体和传感器的问题。该模型通过异构编码器将图像、阵列及状态信号投影为统一的形态感知潜在 token,并由共享触觉 Transformer 专家联合建模。

    推荐理由:FTP-1 是首个跨传感器触觉基础策略,在 26 个数据源预训练后,未见过的传感器也能提升接触丰富操作的成功率。

  4. arXiv · 机器人与计算机视觉82

    DRIFT:一种用于解码视觉语言模型连续输出的残差流适配器

    针对现代视觉语言模型(VLM)难以处理需要精确连续输出的问题(如事件时间边界定位或机器人控制动作),本文提出 DRIFT 框架,结合基础预测器与基于流匹配的生成细化模块。该残差公式将全局分布学习转化为局部残差建模,简化优化过程。研究在感知和规划任务上评估了该方法,涵盖多模态大模型、视觉语言动作模型及世界动作模型等多种架构,结果显示 DRIFT 一致优于现有的回归和生成类解决方案。

    推荐理由:提出 DRIFT 框架,利用流匹配残差适配器解决 VLM 连续输出难题,在感知与规划任务上优于回归及生成基线。