跳到正文
10月21日周三
10月20日周二
  1. arXiv · 机器人与计算机视觉68

    通过联合像素 -提示词优化的多模态资源耗尽攻击

    该论文提出了联合像素 -提示词优化(JPPO)框架,将可见提示词提升为对抗变量,在受控输入威胁模型下对图像和提示进行耦合分阶段优化。实验显示,该方法在多模态视觉语言模型上实现了显著的延迟与能耗放大效应,揭示了当前多模态服务防御的结构盲点,并推动了成本感知鲁棒性评估的需求。

  2. arXiv · 机器人与计算机视觉72

    通用机器人策略如何利用最少数据适应:MiDAS 方法与实验验证

    论文提出 MiDAS 方法,旨在解决预训练策略在新任务上零样本表现不佳的问题。核心发现是单个演示足以引导行为先验实现粗略的任务跟随,而通过冻结 VLA 表示进行基于价值的残差学习、以及精细的数据平衡,可将此粗糙能力转化为可靠的成功。实验在 LIBERO 和 RoboCasa 数据集及双臂 YAM 平台上验证了该方法能从仅偶尔成功的初始策略出发,经过数小时在线交互显著提升任务成功率。

  3. arXiv · 机器人与计算机视觉42

    ZOMP:面向视觉语言模型的零阶多模态提示微调方法

    ZOMP 是一种仅需前向传播的深层多模态提示微调方法,在 5,000 次训练损失查询下实现跨 13 个数据集的平均 16-shot 准确率 68.2%,较 ZIP 提升 6.0 个点。该方法在五个图文检索数据集上优于四种无导数基线,平均双向 Recall@1 比 BPT-VLM 高出 2.63 点,同时降低训练内存占用并支持内部提示推理接口。

  4. arXiv · 机器人与计算机视觉82

    具身智能体接管控制:最小接口零样本代理媲美工业级策略

    论文研究了通用模型如何通过最小接口直接引导感知、行动、验证和自纠正的决策循环,提出‘具身代理控制’概念。研究评估了十四款前沿多模态模型在六个导航及问答基准上的表现,发现最佳代理在部分子集上超越已发表分数并接近人类测试者水平。

    推荐理由:该研究评估了十四款前沿多模态模型在导航与问答任务中的表现,发现最小接口代理能接近人类水平,但受限于身体感知与空间理解。

  5. arXiv · 机器人与计算机视觉72

    GemNav:基于多模态大模型的离散 Token 机器人导航策略

    论文提出 GemNav,一种将机器人局部航点坐标表示为离散度量值分数的概率分布并软解码为连续坐标执行的视觉导航策略。该方法利用度量距离目标采样构建训练轨迹,仅需 8.7 小时 SCAND 公开数据集即可训练,在未见环境和三种物理不同的机器人平台上实现了无需重新训练的跨平台迁移,且相比基于帧的采样和连续回归头展现了更可靠的避障与分布外泛化能力。

  6. arXiv · 机器人与计算机视觉72

    具身智能体架构设计的自动化方法研究

    本文研究了如何将针对文本域的智能体架构搜索(AAS)技术迁移至感知具身智能体领域。作者引入了 AgentCanvas 作为可编辑的有类型图表示,支持仿真执行与日志记录;将优化器从大语言模型调用循环升级为利用工具的编码智能体会话,并提出了知识蒸馏循环(KDLoop)。

  7. arXiv · 机器人与计算机视觉70

    EDITH:基于第一人称视角和视线的非语言人类意图跟随框架

    EDITH 是一个机器人框架,通过智能眼镜实时流式传输人类的第一人称视角、视线及语音(转录为语言指令),利用分层策略将高层意图推断与子任务序列生成相结合。实验表明,即使人类仅短暂表达非语言信号,该框架也能让机器人据此行动,显著降低用户传达意图的 effort。

  8. arXiv · 机器人与计算机视觉72

    AffordanceVLA:一种通过机会认知理解赋能动作生成的视觉 - 语言 - 动作模型

    针对预训练视觉语言模型语义空间与具身控制策略的结构不匹配问题,本文提出 AffordanceVLA 框架。该框架引入结构化机会学习作为任务导向和对象中心的中间表示,通过 Which2Act、Where2Act 和 How2Act 三个互补组件建立精确的感知 - 动作映射。

  9. arXiv · 机器人与计算机视觉72

    ELAN4D:通过即插即用适配实现具身中心的 4D 监督以增强视觉语言动作模型

    针对现有视觉语言动作(VLA)策略仅基于当前观测进行反应式操作、缺乏未来动态建模的局限,本文提出 ELAN4D 框架。该方法利用本体感知状态的正运动学推导机器人关键点(如关节和末端执行器)的三维位移轨迹,将其作为预测性的时空监督信号注入动作专家分支,同时通过梯度隔离保留预训练的视觉语言主干网络。

  10. arXiv · 机器人与计算机视觉68

    SADP:基于基础模型生成的子目标感知扩散策略用于长程操作

    针对现有模仿学习缺乏显式子目标监督导致难以协调多阶段任务的局限,该工作提出 SADP 框架,利用基础模型自主生成带子目标标注的演示数据,并训练扩散策略。方法通过任务级与子目标级描述联合条件化动作生成,并利用轻量辅助头预测续写分数以驱动在线子目标切换及进度监控。

  11. arXiv · 机器人与计算机视觉67

    面向黑盒视觉语言模型的测试时提示方法

    本文针对现有视觉语言模型(VLM)测试时扩展方法依赖开源权重或昂贵采样的局限,提出 Test-Time Hinting 方法。该方法基于 VLM 错误模式可预测的观察,训练轻量级提示生成器以输入为条件预测应添加的上下文或流程指引,从而在不泄露答案的情况下引导闭源模型避开典型失败模式。

  12. arXiv · 机器人与计算机视觉84

    Think before Go:面向图像目标导航的分层推理方法

    该研究针对现有端到端导航策略在远距离或跨房间场景中易迷失的问题,提出分层推理导航框架。该方法利用视觉语言模型生成高层短视域规划(如通过门还是走走廊),再由在线强化学习策略执行低层动作,并引入游荡抑制惩罚减少无效探索。实验表明该方法在仿真与真实环境中均优于现有方法。

    推荐理由:提出分层推理导航框架,将长程任务拆解为高层规划与低层执行,并引入游荡抑制惩罚以解决远距离目标定位难题。

  13. arXiv · 机器人与计算机视觉82

    因果场景叙述:用于视觉语言动作驾驶的推理时文本重构

    针对自动驾驶中视觉语言动作模型接收到的离散文本指令难以关联环境约束的问题,该研究提出了因果场景叙述方法,通过在推理阶段进行意图与约束对齐、量化 grounding 及结构化分离来优化输入。

    推荐理由:该研究提出在推理阶段重构 VLA 文本输入的方法,在多城镇 CARLA 测试中显著提升了路线完成率,并验证了其对感知噪声的鲁棒性。

  14. arXiv · 机器人与计算机视觉78

    并非所有特征都同等重要:VLA 模型的机理研究与 Action Atlas 平台发布

    该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

    推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

  15. arXiv · 机器人与计算机视觉72

    EVA:通过逆动力学奖励对齐视频世界模型与可执行机器人动作

    论文针对视频生成模型缺乏机器人可执行性约束的问题,提出 Executable Video Alignment (EVA) 框架。该方法在机器人演示数据上训练并冻结逆动力学模型(IDM)以解码动作,利用惩罚非平滑运动及违反速度加速度限制的动作空间反馈奖励,指导视频生成器的强化学习更新。

  16. arXiv · 机器人与计算机视觉70

    RoboPocket:利用手机即时改进机器人策略

    RoboPocket 是一个基于智能手机的机器人策略迭代系统,结合端侧感知与云端推理,提供实时采集引导并将策略预测轨迹以增强现实(AR Visual Foresight)形式可视化。该系统允许用户在不部署物理机器人的情况下识别策略弱点并收集针对性修正数据,实现了无需机器人的 DAgger 式修正循环。在多种真实世界操作任务中验证表明,在线修正数据采集相比仅扩展离线演示的样本效率最高提升 2 倍。

  17. arXiv · 机器人与计算机视觉82

    KungfuAthleteBot:基于视频学习的具身智能高动态运动与统一鲁棒性恢复框架

    KungfuAthleteBot 是一个针对人形机器人的统一框架,旨在解决从视频学习高动态动作时存在的漂移、信息缺失及鲁棒性不足问题。该工作联合专业武术家构建了高质量数据集,引入物理引导的抛物线轨迹修正以消除高度漂移和抖动,并设计了三阶段课程学习策略。

    推荐理由:该工作提出统一框架,通过物理引导轨迹修正与免教师训练范式,实现了人形机器人从视频学习高动态动作及快速跌倒恢复。

  18. arXiv · 机器人与计算机视觉82

    BFM-Zero:一种用于人形机器人控制的基于无监督强化学习的可提示行为基础模型

    论文提出 BFM-Zero 框架,旨在统一人形机器人的多样化控制任务。该框架利用无监督强化学习和前向 - 后向(FB)模型构建共享隐空间,将动作、目标与奖励嵌入其中,支持在不重新训练的情况下通过提示进行下游任务适配。实验在宇树 G1 真机上进行,验证了其在零样本运动追踪、目标到达及奖励优化等任务上的有效性,并展示了从仿真到现实的迁移能力。

    推荐理由:提出 BFM-Zero 框架,利用无监督强化学习与前向 - 后向模型构建可提示的共享隐空间,在宇树 G1 真机上实现零样本运动追踪与目标到达。

  19. arXiv · 机器人与计算机视觉68

    LLM-Flock:一种基于大模型的分布式多机器人编队框架

    针对直接应用大语言模型进行多机器人编队控制时易出现行为不稳定或发散的问题,本文提出 LLM-Flock 框架。该框架通过基于影响的共识协议让机器人迭代优化编队计划以实现无中心协调,并采用结合大模型紧迫性推理与程序化碰撞检查的双层避障策略。

  20. arXiv · 机器人与计算机视觉42

    RefCraft:通过网页开发评测视觉参考条件智能体生成

    RefCraft 基准包含 300 个结合自然语言指令与 1-5 张截图参考的网页开发任务,要求智能体在渲染中迭代优化输出。对九种前沿大模型测试显示,最强系统整体得分仅 52.12/100,表明视觉参考条件生成仍是当前挑战。该预印本通过独立可验证关键点及程序化与 VLM 裁判器评估开放-ended 产物。

  21. arXiv · 机器人与计算机视觉74

    VaDar:通过价值解耦实现的隐式目标条件化

    论文介绍 VaDar 算法,该算法训练单一不依赖子目标的策略以最大化各子目标评论家值的线性组合。实验显示其性能优于或等于目标条件化等基线,且能处理非顺序目标结构任务。VaDar 是首个在 RoboCasa 套件中解决长程任务的算法,即使从行为克隆预训练的、初始成功率接近零的策略开始也能成功。材料为 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。

  22. arXiv · 机器人与计算机视觉53

    有限交互透镜:面向视觉语言模型的结构化精度共享

    针对视觉语言模型中视觉干预联合效应难以精确识别的问题,本文提出有限交互透镜(FIL)这一混合精度评估方法。该方法将输入分解为原生状态、单干预分量及高维混合残差,在更高精度下投影单干预分量并复用数值贡献,同时保留混合残差与非线性轨迹。

  23. arXiv · 机器人与计算机视觉59

    VLA-Rolling:通过自适应动作复用实现更少去噪步与更好控制

    该研究提出 VLA-Rolling 框架,利用视觉语言动作(VLA)模型生成的动作尾部作为初始化,替代从头生成噪声的方式。在冻结底层 VLA 模型的情况下,该方法在 LIBERO、MetaWorld 等六个基准的十六对模型组合中均降低了推理成本,最高提速 1.48 倍,并在十四对中提升成功率最多 15.08 个百分点。项目代码与资源已公开。

  24. arXiv · 机器人与计算机视觉84

    Self-Improving Video-to-Action Models:一种通过环境交互进行自我改进的视频到动作模型

    论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。

    推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。

  25. arXiv · 机器人与计算机视觉73

    SAGE-CP:当边际覆盖率掩盖自适应 VLM 集成中的路线条件失败时

    论文 SAGE-CP 指出自适应视觉语言模型(VLM)集成在早期退出和升级输入的路径上存在覆盖率不均衡问题,提出通过冻结路由选择并分别校准分数来实现每条路径的有限样本覆盖。实验显示该方法在保持边际覆盖率的同时,将最差路线覆盖率从 0.623 提升至 0.887,并将路线覆盖率差距从 0.324 降至 0.025,同时比完整集成减少约 70% 的源调用次数和 GPU 能耗。

  26. arXiv · 机器人与计算机视觉66

    Reinforcement Learning with Visually Attributable On-Policy Self-Distillation 方法发布

    针对多模态强化学习奖励中视觉推理错误定位困难及教师修正受非视觉因素干扰的问题,提出一种基于视觉证据的可归因自蒸馏范式。该方法通过 Visual-Attribution Gating 机制,利用验证器优势作为优化锚点,并对比证据存在与退化视图来过滤不一致的残差,从而保留视觉引导并抑制错误更新。在六个视觉推理基准测试中,该方法平均性能优于 GRPO 和 OPSD 方法,建立了新的最先进水平。

  27. arXiv · 机器人与计算机视觉80

    Physical Words:一种用于机器人操作中结构化潜在推理的词汇表

    该论文介绍 PhysWord 基础模型,利用原子动作动词作为共享语义锚点来组织连续物理动态表示。模型预测未来原子动作词并将上下文隐藏状态与来自未来观测的潜在目标对齐,构建具有视觉和可选触觉变体的时间结构化空间。

    推荐理由:提出基于原子动作动词的潜在推理框架,在视觉触觉任务中取得最先进成功率并支持长程操作。

  28. arXiv · 机器人与计算机视觉82

    LLM-as-policy 的物理递归自我改进能力来源:一项观测缩放律研究

    本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。

    推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。

  29. arXiv · 机器人与计算机视觉84

    GPT-6 Astra:原生视觉 - 触觉策略用于富接触操作

    GPT-6 Astra 作为原生视觉 - 触觉策略,首次演示直接通过现有视觉接口解读基于图像的触觉观测并利用接触线索进行富接触操作控制。在十九个 UniVTAC 和 OpenViTac 仿真任务中,使用视觉 - 触觉输入的平均成功率分别为 93.8% 和 81.8%,分别超过最强专用基线 22.9 和 13.1 个百分点;仅视觉性能也达到 76.3% 和 80.6%。

    推荐理由:该工作首次演示 GPT-6 Astra 直接解读视觉触觉图像并在十九个仿真任务中实现闭环控制,成功率超最强基线。