arXiv · 机器人与计算机视觉· Nina Konovalova, Ibragim Idrisov, Aibek Alanov·· 16 天前AI 评分68
SHIFT:一种面向 DiT 模型的推理时概念抑制框架
SHIFT: Steering Hidden Intermediates in Flow Transformers
AI 导读
针对多亿参数扩散 Transformer 难以通过梯度微调去除不想要概念的痛点,作者提出 SHIFT 框架。该方法无需更新模型权重,仅通过在推理阶段对中间激活进行定向操作来实现概念抑制。单个时间无关的引导向量可泛化至所有去噪步长,且蒸馏模型的向量可有效迁移至非蒸馏版本。实验表明,SHIFT 在实现强概念抑制的同时保留了提示保真度和图像质量,并支持灵活的对象与风格控制。
来源:arXiv · 机器人与计算机视觉 · arxiv.org