跳到正文

内容形态

安全与可靠性 最新动态

安全研究、事故报告、召回与可靠性工程,区分报告、调查结论与责任认定。

48 条精选近 30 天 31 条共收录 321 条

更新

精选归档 · 第 3 页

10月7日周三第 41–48 条
  1. arXiv · 机器人与计算机视觉82

    LipDA:基于口型与头部姿态不一致性的唇同步伪造检测与溯源框架

    针对高逼真度唇同步生成技术带来的社会风险,本文提出 LipDA 框架,通过量化真实与伪造视频中口型与头部姿态特征的不一致性进行检测,并捕捉模型特有的时序动态实现溯源。实验在两个挑战数据集及自建大规模多生成器数据集上验证,检测 AUC 超 97%,模型归因准确率达 97.5%。代码与 LipSync-A 数据集已开源。

    推荐理由:提出 LipDA 框架,利用口型与头部姿态的不一致性检测唇同步伪造并溯源模型。

10月6日周二
  1. arXiv · 机器人与计算机视觉82

    视觉语言模型中的视觉定位安全问题及修复方法

    该研究针对视觉语言模型(VLM)生成结构化输出时的安全对齐不足问题,利用三个涵盖直接伤害、社会偏见和情境安全的基准数据集,对比了问答与视觉定位两种输出模式下的拒绝率差异。

    推荐理由:研究发现 VLM 在 grounding 任务上比问答更容易被诱导执行有害指令,提出了一种结合拒绝与能力数据的微调方案以修复此漏洞。

  2. arXiv · 机器人与计算机视觉83

    TAPDreamer:一种可迁移的对抗补丁用于攻击世界动作模型

    论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。

    推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。

  3. arXiv · 机器人与计算机视觉80

    少说假话,多说大话:LLM 机器人团队的隐蔽内部攻击研究

    当机器人团队将规划与互信委托给 LLM 智能体时,单个被攻陷的机器人可能破坏共享结果。本研究在可物理验证但需消耗预算的多机器人测绘任务中,将攻陷者视为受限于系统检测器的隐蔽对手,推导了谎言被验证概率的下界及地图误差上界。实验表明,当诚实机器人由 LLM 智能体担任时,上述界限在实际攻击花费的预算下均成立;同时发现 LLM 重检记录的选择无偏但重检量不可预测。

    推荐理由:论文从系统理论角度推导了多机器人团队中 LLM 智能体被内部攻击时的谎言概率与地图误差上界,并在 LLM 诚实机器人的实验环境下验证了这些界限。

10月5日周一
  1. arXiv · 机器人与计算机视觉82

    仅需微小改动即可改写感知:VLM 中的目标语义替换研究

    该预印本论文针对视觉语言模型(VLM)在安全关键场景下的鲁棒性提出质疑。研究发现,即使在极小的扰动范围(ε≤4/255)内,通过白盒威胁模型下的对齐策略,也能成功实现目标图像的语义替换。

    推荐理由:研究表明在极小扰动下即可实现语义替换,揭示了 VLM 在安全关键场景下的脆弱性。

9月30日周三
  1. Hugging Face Daily Papers85

    通过失败库自进化从运行时反馈中学习:面向视觉语言动作模型的更安全策略

    针对复杂环境中 VLA 模型需平衡任务成功与意外接触的挑战,本文提出 FailBank 四阶段框架,将运行时反馈转化为持久的策略改进。该框架在 VLA-Arena 基准上评估显示,相比基线策略和纯运行时屏蔽方法,FailBank 能显著提升任务成功率并降低由策略引起的累积成本,证明运行时反馈可作为持续监督而非临时约束。

    推荐理由:FailBank 框架利用运行时反馈实现 VLA 策略自我进化,在基准测试中显著提升了任务成功率并降低了累积成本。

6月11日周四
  1. NVIDIA Blog · Physical AI68

    NVIDIA Hyperion 发布 Halos OS:为 Robotaxi 构建内置式安全基础

    NVIDIA Hyperion 平台推出 Halos OS,作为其全栈安全系统的核心组件,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。

    推荐理由:NVIDIA Hyperion 平台推出 Halos OS,提供符合 ISO 26262 ASIL D 的认证内核、标准化接口及 AI 护栏,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。

6月10日周三
  1. Google DeepMind74

    DeepMind 联合多方启动千万级多智能体安全研究资助计划

    Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation 等机构宣布推出总额最高达 1000 万美元的多智能体安全研究资助计划,旨在应对大规模独立智能体交互带来的系统性风险。

    推荐理由:DeepMind 联合多方发起百万美元资助计划,聚焦多智能体系统涌现行为、网络失效及跨平台身份协议等四大方向。