跳到正文
10月6日周二
  1. arXiv · 机器人与计算机视觉82

    视觉语言模型中的视觉定位安全问题及修复方法

    该研究针对视觉语言模型(VLM)生成结构化输出时的安全对齐不足问题,利用三个涵盖直接伤害、社会偏见和情境安全的基准数据集,对比了问答与视觉定位两种输出模式下的拒绝率差异。

    推荐理由:研究发现 VLM 在 grounding 任务上比问答更容易被诱导执行有害指令,提出了一种结合拒绝与能力数据的微调方案以修复此漏洞。

  2. arXiv · 机器人与计算机视觉72

    被投毒的对话:统一多模态模型中的隐私泄露水印

    文章介绍隐私泄露水印(PLWs),这是一种恶意模型提供者可利用先前聊天历史触发的隐形水印技术。该攻击打破了传统隔离,使早期对话中提及的敏感关键词或语义线索能导致后续生成的无关图像携带可检测的水印。研究在 13 个敏感属性触发器和两个模型家族上验证,OmniGen2 等模型在检测到抑郁披露时准确率达 100%,误报率仅 1%。

  3. arXiv · 机器人与计算机视觉56

    A Safe Action Is Not Enough: Feasible-Future Decoding for Vision-Language-Action Policies

    论文指出在冻结的视觉语言动作(VLA)策略中,看似可行的动作可能无法通向安全的任务完成,存在可行性与似然性差距。作者推导了受限于安全任务完成的轨迹分布精确下一块边际,并提出一种基于有限候选集的近似方法,将其实例化为无需重训且仅在触发警报时运行的重排序器。在 Safety-CHORES 数据集上,该方法将平均累积安全成本降低 1.9%-57.5%,同时保持成功率与平均集数长度接近基线策略。

  4. arXiv · 机器人与计算机视觉48

    Latent Safety Filters:当有损编码器颁发可转移安全证书时

    该研究提出潜在安全滤波器,在低维状态表示上认证安全性以抵抗解析描述约束。实验构建系统证明,若丢弃的安全相关动力学不可检测,则不存在能传递至物理系统的证书;反之,当子空间可检测时,校准的屏障可在有限裕度下转移真实安全。

  5. arXiv · 机器人与计算机视觉83

    TAPDreamer:一种可迁移的对抗补丁用于攻击世界动作模型

    论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。

    推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。

  6. arXiv · 机器人与计算机视觉68

    Inspect Robots:评估具身智能的能力与安全

    本文介绍 Inspect Robots 框架,这是一个模块化、开源的工具,旨在开发和运行针对具身智能代理的评估。该框架通过自动化设置、执行和终止评估流程,将可定制的物理评估抽象与结果分析基础设施配对使用。作者利用此框架评估了基于前沿语言模型的六种策略的能力与安全表现。自发布以来,该框架在三个月内下载量接近 10 万次。本文已提交至 CoRL 2026 的 SPAIS 研讨会。

  7. arXiv · 机器人与计算机视觉48

    Safe Image Generation via Reinforcement Learning 提出生成中安全框架,通过强化学习从 NSFW 提示词生成安全图像

    针对现有文本到图像模型易生成不安全内容且防御机制滞后的问题,该方法在去噪轨迹监测中引入强化学习进行可控引导。实验显示其在标准及对抗性评测集上均优于现有方法,同时保持感知质量与提示忠实度。代码将在论文被接收后发布。

  8. arXiv · 机器人与计算机视觉73

    VLA 指令中的隐含危害:监控器未能察觉而机器人执行的实验研究

    该论文测试了视觉语言动作模型(VLA)对有害请求的拒绝能力,发现当任务意图以隐晦方式表达时,文本监控器几乎无法拦截,导致高达 95% 的隐含危害任务被执行且未触发警报。线性探针在基础模型中能区分有害与无害指令,但在机器人训练后这种区分能力显著下降,尤其是针对隐含危害。研究指出仅监测模型激活无法解决此安全缺口。

  9. arXiv · 机器人与计算机视觉80

    少说假话,多说大话:LLM 机器人团队的隐蔽内部攻击研究

    当机器人团队将规划与互信委托给 LLM 智能体时,单个被攻陷的机器人可能破坏共享结果。本研究在可物理验证但需消耗预算的多机器人测绘任务中,将攻陷者视为受限于系统检测器的隐蔽对手,推导了谎言被验证概率的下界及地图误差上界。实验表明,当诚实机器人由 LLM 智能体担任时,上述界限在实际攻击花费的预算下均成立;同时发现 LLM 重检记录的选择无偏但重检量不可预测。

    推荐理由:论文从系统理论角度推导了多机器人团队中 LLM 智能体被内部攻击时的谎言概率与地图误差上界,并在 LLM 诚实机器人的实验环境下验证了这些界限。

  10. arXiv · 机器人与计算机视觉72

    基于人类行为与真实事故先验的碰撞场景生成方法

    论文介绍 CrashSim 框架,利用真实世界事故先验指导多智能体交通仿真,以更可靠地复现撞击前的演化过程及事故类型分布。作者构建了包含超 4000 个碰撞及准碰撞场景的 nuCrash 数据集,闭环评估显示其比 nuScenes 更能暴露自动驾驶规划器的安全能力差异。

  11. arXiv · 机器人与计算机视觉38

    可信赖 AI 辅助工程:安全关键工作流中的形式化框架与案例验证

    该论文提出一种为安全关键工作流分配 AI 参与及保障的形式化框架,涵盖确定性验证、统计校准准入等六种机制。研究者在包含 17 个单元的机翼梁结构分析流程中进行了实例验证,其中 AI 生成的 CAD 程序通过了全部 23 项确定性检查并一次获批。该案例展示了单元级的选择性 AI 参与和显式证据处理,未宣称工作流级可靠性或认证。

  12. The Robot Report42

    FCC 新规限制外国机器人可能加速转向本地 AI 架构与专用小模型部署

    FCC 将外国先进移动机器人列为国家安全风险,禁止其进口销售,促使企业为数据安全和低延迟需求加速转向本地 AI 架构。这一监管变化推动工业界从依赖云端大语言模型转向在边缘硬件运行可微调的专用小语言模型(SLMs)。企业需在控制器、传感器及 AI 硬件间确保可靠集成与安全治理,以应对供应链透明度和运营自主性的新要求。

10月5日周一
  1. arXiv · 机器人与计算机视觉82

    仅需微小改动即可改写感知:VLM 中的目标语义替换研究

    该预印本论文针对视觉语言模型(VLM)在安全关键场景下的鲁棒性提出质疑。研究发现,即使在极小的扰动范围(ε≤4/255)内,通过白盒威胁模型下的对齐策略,也能成功实现目标图像的语义替换。

    推荐理由:研究表明在极小扰动下即可实现语义替换,揭示了 VLM 在安全关键场景下的脆弱性。

  2. arXiv · 机器人与计算机视觉72

    扩展至现实:三维环境中的提示词注入攻击

    论文介绍 PI3D 攻击框架,针对三维环境中的多模态大语言模型(MLLMs),通过物理放置带文本物体而非数字图像编辑来实施提示词注入。研究解决了确定注入文本物体有效姿态(位置与朝向)的问题,确保物体摆放符合物理合理性。实验表明该攻击对多种 MLLMs 在多样相机轨迹下均有效,且现有防御手段不足以可靠抵御此类攻击。

  3. arXiv · 机器人与计算机视觉42

    GARV:图感知细化与高层机器人计划安全验证方法研究

    该研究通过对比 RoboGuard 在表面计划与图细化轨迹上的判定,发现五类动作抽象中的 12 个受控案例存在差异而 16 个端到端控制符合预期。作者据此提出基于图的轨迹细化可作为轻量级缓解手段及物理 AI 安全监测器的诊断工具。论文包含 5 页正文、1 张图表,预印本状态待注册 DOI。

  4. arXiv · 机器人与计算机视觉50

    Detect and Suppress:一种针对 VLA 模型对抗补丁的机制化防御

    论文通过稀疏自编码器(SAE)对视觉语言动作(VLA)模型的内部表征进行机制分析,识别出与对抗补丁存在强相关性的特定特征。研究提出在推理阶段仅当线性探针检测到攻击时才抑制该特征的干预策略,该方法在不微调模型的前提下提升了鲁棒性。实验基于 LIBERO-10 数据集评估显示,条件式干预能改善间歇性攻击下的成功率,而持续应用相同干预则会显著降低策略性能。

  5. arXiv · 机器人与计算机视觉42

    Qwen2.5-VL-7B-Instruct 内部自欺机制研究:视觉编码器腐蚀表征而语言解码器差异化仲裁

    针对 Qwen2.5-VL-7B-Instruct 的对抗扰动实验显示,图像像素统计无法预测模型是否被腐蚀,且目标 token 在词表中的排名固定为 3,488。研究发现视觉编码器对所有图像均产生同等程度的表征腐蚀,而语言解码器则通过差异化仲裁放大或抑制该信号。结果表明自回归 VLM 的对抗鲁棒性主要取决于语言解码器的先验而非视觉编码器。

  6. arXiv · 机器人与计算机视觉42

    CalCErt:医学图像分类置信度校准的逐区间认证方法

    CalCErt 是一种针对预训练可微分类器的后处理策略,通过结合经验校准估计与统计集中界,为对抗扰动下的置信度校准提供数据依赖的上界保证。该方法在 11 项医学图像分类任务及多种对抗扰动下评估显示,其认证的覆盖率显著高于基线策略且保持了具有竞争力的紧确性。代码已公开于相关 GitHub 仓库供复现验证。

  7. arXiv · 机器人与计算机视觉42

    Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift

    该研究审计了固定 YOLOv8s 行人检测器在 PIE 和 JAAD 数据集上的域偏移解释性,发现基于删除的忠实度与检测强度强耦合。控制检测强度后,D-RISE 忠实度仍依赖领域(PIE 高于 JAAD),且非扰动式 EigenCAM 基线也存在类似分数耦合现象。结果证实了置信度控制的 XAI 审计对安全关键感知的重要性,论文已获准参加 ICVES 2026。

  8. arXiv · 机器人与计算机视觉68

    Filter-Aware Fine-Tuning for Safe Humanoid Whole-Body Tracking

    论文针对人形机器人全身运动跟踪中策略与运行时安全滤波器(如 CBF)独立设计导致的失配问题,提出 CoFiT 约束感知微调方法。该方法在 TWIST2 和 SONIC 场景下分别将违规时间减少 91% 和 21%,并在 Unitree G1 硬件上实现所有试验无需操作员干预,而基线方法需 50% 的试验被停止。

  9. Hugging Face Daily Papers72

    HERA:利用环境与 harness 的协同进化实现可靠的智能体拒答

    HERA 是一个针对智能体拒答问题的框架,通过自动构建可行与不可行任务对以及基于性能失败的协同进化流程,将智能体在保留任务上的完成率和拒答准确率分别提升至 76.7% 和 83.3%,并在 19 种其他大语言模型上实现了平均提升 15.3 个百分点的通用性。

10月1日周四
  1. The Robot Report42

    VicOne LAB R7 揭示恶意输入如何绕过机器人安全机制并影响合规测试

    VicOne LAB R7 通过实验证明,即便机器人遵循既定规则,被篡改的视觉、文本或音频输入仍会导致其做出错误动作。研究利用 Gemma 4 E4B 和 Nemotron 模型展示了海报文字与不可听音频如何误导机器狗与服务机器人,并指出 ROS 2/DDS 消息注入可触发意外移动。

9月30日周三
  1. Hugging Face Daily Papers85

    通过失败库自进化从运行时反馈中学习:面向视觉语言动作模型的更安全策略

    针对复杂环境中 VLA 模型需平衡任务成功与意外接触的挑战,本文提出 FailBank 四阶段框架,将运行时反馈转化为持久的策略改进。该框架在 VLA-Arena 基准上评估显示,相比基线策略和纯运行时屏蔽方法,FailBank 能显著提升任务成功率并降低由策略引起的累积成本,证明运行时反馈可作为持续监督而非临时约束。

    推荐理由:FailBank 框架利用运行时反馈实现 VLA 策略自我进化,在基准测试中显著提升了任务成功率并降低了累积成本。

9月28日周一
9月19日周六
9月17日周四
  1. IEEE Spectrum · Robotics42

    VicOne 提出 Rethinking Robot Safety 框架,应对物理 AI 在感知、系统栈及运行时层面的攻击风险

    VicOne 指出物理 AI 面临攻击者篡改感知或决策时的安全挑战,涵盖 BadVLA 等后门攻击、UniPwn 蓝牙漏洞及运行时感知操纵三类风险。NVIDIA Isaac Sim 搭配 VicOne Radeis 可在部署前验证对抗输入影响,而 VicOne Lab R7 演示显示无线漏洞链可在 60 秒内引发失控行为。

9月3日周四
  1. Torc Robotics · 自动驾驶技术与安全35

    Edge Case 发布 Guardian 平台,Torc Robotics 成为首个商业合作伙伴

    Edge Case 推出 AI 驱动的安全智能平台 Guardian,旨在为自动驾驶及复杂系统提供持续的系统级风险理解。Torc Robotics 作为其首个公开宣布的商业合作伙伴,利用该平台在长途货运自主卡车商业化进程中,实时监测自驾驶系统的整体安全画像。

  2. Google DeepMind42

    DeepMind 发布 Gemini 3.8 Flash 与 3.8 Flash Cyber,强化代码推理与漏洞修复能力

    DeepMind 推出 Gemini 3.8 Flash 及专为可信防御者提供的 3.8 Flash Cyber,后者在内部基准中漏洞发现成功率超 70%,CWE-Bench 补丁 pass@1 达 47.2%。两款模型均基于相同核心智能,通过长周期智能循环迭代优化,在软件工程和关键多步推理领域显著提升性能且成本更低。

8月27日周四
  1. Google DeepMind42

    Google DeepMind 推出全球首个双盲 AI 评估,在加密环境中测试 Gemini Flash Lite 模型以消除基准污染

    Google DeepMind 联合新加坡 AI 安全研究所等伙伴,首次在加密“盒子”内对 Gemini Flash Lite 进行双盲评估,防止模型提前窥探考题。该方案通过引入密码学保障措施解决基准污染问题,确保业界能信任基准分数真实反映模型能力与安全性。

8月26日周三
  1. Torc Robotics · 自动驾驶技术与安全23

    Torc 通过首响者协作强化自动驾驶卡车安全

    Torc 利用最新一代车辆与执法、消防及急救部门合作,在测试场采集高质交互数据以增强 AV 3.0 软件对紧急车辆的感知与响应能力。仿真环境基于实测数据生成数千种排列组合,进一步提升了模型应对复杂紧急情况的能力。此举旨在扩大数据集多样性,确保自动驾驶系统在多变现实场景中安全可靠运行并建立公众信任。

8月21日周五
8月5日周三
  1. Torc Robotics · 自动驾驶技术与安全15

    Torc Robotics 加入 Auto-ISAC 强化网联商用车网络安全协作

    Torc Robotics 宣布加入 Automotive Information Sharing and Analysis Center (Auto-ISAC),以加强网联商用车辆的网络安全协作。作为戴姆勒卡车旗下子公司,Torc 将借此与车企及供应商共享网络威胁情报并制定最佳实践,确保其面向美国长途货运的自动驾驶卡车产品在商业化部署中具备安全韧性。

6月16日周二
6月11日周四
  1. NVIDIA Blog · Physical AI68

    NVIDIA Hyperion 发布 Halos OS:为 Robotaxi 构建内置式安全基础

    NVIDIA Hyperion 平台推出 Halos OS,作为其全栈安全系统的核心组件,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。

    推荐理由:NVIDIA Hyperion 平台推出 Halos OS,提供符合 ISO 26262 ASIL D 的认证内核、标准化接口及 AI 护栏,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。

6月10日周三
  1. Google DeepMind74

    DeepMind 联合多方启动千万级多智能体安全研究资助计划

    Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation 等机构宣布推出总额最高达 1000 万美元的多智能体安全研究资助计划,旨在应对大规模独立智能体交互带来的系统性风险。

    推荐理由:DeepMind 联合多方发起百万美元资助计划,聚焦多智能体系统涌现行为、网络失效及跨平台身份协议等四大方向。

6月3日周三
2月17日周二
  1. California DMV · 自动驾驶公告33

    Tesla 在加州停止使用误导性术语“Autopilot"以避免驾照暂停

    特斯拉于 2026 年 2 月成功停止在加州营销中使用“Autopilot"一词,以回应加州 DMV 去年 12 月关于其误导消费者认为车辆具备自动驾驶能力的违规认定。此举使特斯拉避免了经销商和制造商牌照被暂停 30 天的处罚,此前该机构曾建议立即实施为期 30 天的暂停令。