跳到正文
11月6日周五
  1. arXiv · 机器人与计算机视觉35

    感知失真新框架:空间切片匹配与时间误差对齐提升视频编码质量

    针对神经视频编码中感知质量与重构保真度的权衡问题,该研究提出区分可放松对应关系与必须保留的约束。方法上引入局部切片 Wasserstein 失真(SWD)进行一维最优传输以捕捉跨通道依赖,并采用运动轨迹上的流残差约束编码误差以保持时序一致性。

  2. arXiv · 机器人与计算机视觉63

    SD-LoRA:面向少样本视觉语言适应的训练时结构化蒸馏方法

    针对视觉语言模型的少样本适应问题,该研究提出 SD-LoRA 框架,旨在平衡细粒度视觉区分学习与部署效率。该方法在训练阶段利用异质图教师模型对高分辨率 ViT token 进行 patch-patch、全局 - 局部及视觉 - 文本关系的建模,并通过隐式蒸馏与原型预测对齐将结构偏置转移至共享的 CLIP-LoRA 骨干网络。

  3. arXiv · 机器人与计算机视觉46

    TraCE:基于轨迹感知概念的可解释视频理解框架

    TraCE 提出一种通过聚类光流轨迹发现源灵活运动概念的框架,支持动作识别与视频问答任务。在 NTU RGB+D Mutual、Chiral SSv2 等六个基准上评估显示,相比不可解释基线,其动作识别平均准确率仅下降 1.0 点,VQA 名义提升 0.4 点。该方法通过运动扰动和概念移除测试验证了语义对齐与决策忠实性,项目页面已公开。

  4. Hugging Face Daily Papers68

    Video-Coder:首个用于视频生成的代码驱动智能体

    Video-Coder 是首个训练代码驱动的视频生成智能体的尝试,能够自主编写和执行代码来构建动态 3D 场景以提供结构与运动信号。研究设计了专用数据管道和两个高质量数据集(Video-Coder-SFT-6k、Video-Coder-RL-2k),并开发了集成代码执行与 3D 渲染的统一交互环境 Video-Coder Harness。

11月5日周四
  1. arXiv · 机器人与计算机视觉52

    S-NVRC:一种支持细粒度比特率和解码复杂度可扩展性的神经视频表示压缩方法

    该论文提出了 S-NVRC,这是一种基于隐式神经表示(INR)的可扩展视频编码方案。该方法采用粗到细的特征网格前缀和嵌套的网络层前缀,能够从单个嵌入比特流中同时实现比特率与解码复杂度的可扩展性。在 UVG 数据集上,S-NVRC 通过单次编码即可覆盖广泛的比特率和解码复杂度范围,相比 SHM-12.4 和多层 VTM-20.0 分别在 BD-rate 上提升了 43.7% 和 5.6%。

  2. arXiv · 机器人与计算机视觉62

    RPL-UIE:一种基于参考引导先验学习的水下图像增强方法

    针对水下成像中波长依赖吸收、散射及非均匀退化导致的语义漂移问题,本文提出 RPL-UIE 两阶段教师 - 学生框架。教师阶段从成对退化与参考图像中学习可靠的空间先验;学生阶段仅输入退化图像,模拟教师先验提取能力以指导增强过程,无需推理时参考图。

  3. arXiv · 机器人与计算机视觉31

    Backdoor Attacks under Lossy Compression: From Failure to Reactivation and Adaptation 论文被 NeurIPS 2026 接收

    针对有损压缩导致后门触发器失效的问题,研究提出通用攻击重激活与压缩自适应攻击两种策略。实验表明,利用 ROI 编码机制可在 JPEG 等二进制流中保留恶意信息并成功重激活。该工作被 NeurIPS 2026 接收,为对抗数据压缩带来的安全挑战提供了新方案。

  4. arXiv · 机器人与计算机视觉7

    Learning Optimal Lattice Vector Quantizers for End-to-end Neural Image Compression 论文被 NeurIPS 2024 接收

    该方法提出针对潜在特征样本统计设计的率失真最优晶格向量量化(OLVQ)码本,克服了传统结构对均匀分布依赖的缺陷。实验表明其在保持计算效率的同时显著提升了端到端神经图像压缩的率失真性能,代码已开源。

  5. arXiv · 机器人与计算机视觉23

    MM-VeriAgent:利用强化学习与工具缓存验证多模态虚假信息

    MM-VeriAgent 通过强化学习让智能体掌握专用工具栈,在无需推理时搜索的情况下显著提升了混合来源多模态虚假信息的检测准确率。研究引入 Tool-Execution Cache 机制预执行候选调用并复用结果,大幅降低了训练阶段的在线工具执行开销。该方法基于 MM-VeriTools 构建,已在 MMFakeBench 基准上验证了策略的有效性与效率优势。

  6. arXiv · 机器人与计算机视觉38

    SLICEChat:渐进式编码器 Token 剪枝的全切片病理语言模型

    SLICEChat 在混合 Mamba-Transformer 编码器中引入语言监督的区域感知剪枝,解决全切片图像的可扩展性挑战。该模型在 SlideBench VQA 任务上 TCGA 队列准确率达 79.84%,BCNB 队列为 59.09%,优于既往全切片病理多模态大模型并拥有最佳综合指标与推理延迟。论文已获 WACV 2027 接收,代码、项目页及 PDF 均已公开。

  7. arXiv · 机器人与计算机视觉83

    VicEdit:基于视觉上下文示例学习视频编辑

    针对文本指令在表达细粒度外观、空间变换和时序动态上的局限,该研究提出了 Visual In-context Editing 新范式,允许用户通过单图、成对图像或成对视频等异构视觉参考指定编辑需求。

    推荐理由:VicEdit-400K 数据集与 VicEdit 框架展示了从视觉示例而非纯文本进行视频编辑的新范式,为可控视频生成提供了新的技术路径。

  8. arXiv · 机器人与计算机视觉28

    RA-CLIPScore:更可解释的生成模型评估指标

    RA-CLIPScore 提出一种新型评估指标,通过双提示解耦属性并利用局部 patch token 捕捉区域语义,解决传统 CLIP 基线在属性分析上的局限。实验表明该指标在分布错位或无关文本属性下更鲁棒,能揭示生成模型的空间偏差且与人类视觉多样性感知高度一致。

  9. arXiv · 机器人与计算机视觉65

    基于 I/O 感知的快速高效小波卷积代数重构方法

    论文提出一种针对小波卷积(WTConv)的 I/O 感知重构方案,通过芯片内重算 Haar 分析、合并多级合成级联及折叠通道尺度等代数变换,将 HBM 流量降低约 2.55 倍。在保持算术计算量相当的前提下,相比参考实现训练速度提升最高 4.35 倍且峰值内存减半,解决了小波卷积因高带宽显存移动过多导致的系统开销问题。材料为 arXiv 预印本,已获 TMLR 录用。

  10. arXiv · 机器人与计算机视觉42

    PIDiffSign:基于物理的扩散模型实现符合解剖学与运动控制规律的三维手语生成

    PIDiffSign 提出一种融合正向运动学头与刚体动力学先验的扩散模型,直接输出解剖精确骨架以驱动虚拟化身。在受控协议下,该模型将 PHOENIX14T 和 CSL-Daily 数据集的回译单词错误率降低约五点,且生成的手语严格遵循运动控制定律但动能显著低于真实手语。研究证实增益源于运动学链表示而非骨长守恒,并提供了首个用于未来手语生产系统的物理基准套件。

  11. arXiv · 机器人与计算机视觉72

    AbsoluteDegradation:一种物理启发的合成胶片退化流水线与归档胶片修复基准

    针对归档胶片修复缺乏成对训练数据和标准化评估基准的挑战,该研究提出了 AbsoluteDegradation 框架。其核心包含一个物理启发的模块化合成流水线,将模拟到数字过程建模为信号相关颗粒、参数化划痕和时序相干相机运动的组合;同时发布了一个由 81,576 帧高分辨率真实归档素材组成的基准数据集。

  12. arXiv · 机器人与计算机视觉70

    AI 生成视频检测中的语料身份问题:来自真实片段的新工具与方法

    该研究指出当前 AI 生成视频检测基准存在对来源语料的依赖偏差。作者提出通过固定帧类型模式消除至少 2 秒片段的来源泄露,并发现仅靠重编码无法完全解决运动矢量带来的区分度。工具包与评估集清单已公开,建议结合多基准分数与其他真实集合的误报率来解读检测结果。

  13. arXiv · 机器人与计算机视觉65

    Bricker to BRACE:面向频闪条纹的括号曝光 RAW 数据集与恢复模型

    该研究针对相机卷帘快门与屏幕亮度调制产生的频闪条纹问题,构建了 Bricker 合成 - 真实混合括号曝光 RAW 数据集,并提出 BRACE 多帧恢复模型。模型利用频率感知频闪先验和多尺度空间交叉注意力模块进行跨曝光融合,并引入条纹频率一致性指标进行评估。实验在合成与真实基准上均达到最先进水平,代码与数据已开源。

  14. arXiv · 机器人与计算机视觉58

    DomainShuttle:面向开放域的无限制主题驱动文生视频生成

    论文提出了 DomainShuttle 方法,旨在解决开放域主题驱动文生视频中在域内保持特征与跨域灵活编辑的平衡问题。该方法引入 Domain-MoT 解耦视频与参考特征、Video-Reference DualRoPE 分离空间建模以及 Cross-Pair Consistent Loss 提取内在主体特征。实验表明其在多种开放域应用场景下均实现了显著的性能提升,兼具高保真度与生成灵活性。

  15. arXiv · 机器人与计算机视觉78

    RegimeVGGT:一种基于层级空间冗余去除的视觉几何基础 Transformer

    论文 RegimeVGGT 针对多视图图像恢复稠密三维场景结构的 VGGT 模型,提出无需训练的层级压缩方案以解决二次交叉帧注意力带来的扩展性瓶颈。研究通过频谱、探测和因果分析发现浅层缺乏跨视角结构、中层驱动对齐、深层对几何冗余但保留姿态关键路径的规律。

    推荐理由:该文提出无需训练的层级压缩方法,在保持重建质量的同时将 VGGT 推理速度提升 6.7 倍。

  16. arXiv · 机器人与计算机视觉82

    POTATR:一种用于页面级表格提取的轻量级图像到图模型

    论文介绍 POTATR(Page-Object Table Transformer),这是一个拥有 2900 万参数的轻量级图像到图模型,旨在解决大规模文档处理中需要上下文感知的表格提取问题。

    推荐理由:POTATR 以轻量级架构在表格提取基准上超越前沿多模态大模型,且具备空间定位能力与低成本推理优势。

  17. arXiv · 机器人与计算机视觉59

    ParaVT:通过并行视频工具调用驯服智能体强化学习中的工具先验悖论

    针对大语言模型原生调用视频处理工具进行长视频理解的挑战,该研究提出 ParaVT 框架,支持单次轮次内并发多个时间窗口裁剪以并行考察证据。研究发现标准强化学习易陷入格式不稳定或跳过工具的困境,为此提出 PARA-GRPO 算法,通过格式奖励与概览帧预算随机化机制平衡探索与稳定性。实验显示该方法在六个长视频理解基准上平均提升 7.9%,并将训练时的格式奖励从 0.13 提升至峰值 0.64。

  18. arXiv · 机器人与计算机视觉72

    TACache:一种加速 Rectified Flow 模型的轨迹感知缓存方法

    针对扩散和修正流模型迭代计算昂贵的痛点,本文提出 TACache(Trajectory-Aware Cache),这是一种无需训练的训练后加速框架。该方法将离散速度加速度沿轨迹分解为平行分量与正交残差,离线阶段基于累积变化阈值确定跳过步长并界定误差边界,在线阶段结合历史方向重构被跳过的速度场。

  19. arXiv · 机器人与计算机视觉72

    当策略熵约束失效时:通过感知熵保留流式 RLHF 中的多样性

    论文指出在流匹配文本到图像模型的 RLHF 微调中,传统基于策略熵的多样性假设会失效,因为固定的噪声调度导致策略熵恒定而感知多样性坍塌。作者提出用感知空间熵替代策略熵以捕捉真实多样性,并设计了两种熵正则化策略(Perceptual Entropy Constraint 和 Perceptual Constraints on Generation Space)。

  20. arXiv · 机器人与计算机视觉58

    EPIC:一种用于组合式文本到图像生成的高效谓词引导推理时控制方法

    针对现有文本到图像生成器在处理多物体、数量及关系等组合性提示时的不足,该研究提出 EPIC 框架。该方法无需训练,将优化过程转化为基于视觉证据的谓词引导搜索:解析提示词为对象变量与类型化谓词的视觉程序,验证候选图像是否满足所有谓词;对未满足的谓词进行局部编辑或重采样。

  21. arXiv · 机器人与计算机视觉70

    ReMoA:基于稀疏潜在优化的多模态扩散模型递归模块化适应框架

    该论文提出 ReMoA 框架,将递归模块化适应机制集成至常规扩散模型的联合注意力层中,通过稀疏选择神经模块在多个递归步骤内迭代优化视觉 token。实验表明,该方法在不引入额外参数的情况下,显著提升了 ImageNet 分类条件下的生成召回率及 GenEval 基准上的文本对齐效果。分析显示神经模块在不同扩散步长上实现专业化分工,支持上下文自适应的潜在轨迹细化。

  22. arXiv · 机器人与计算机视觉76

    Faces in Things, Faces in Nothing: Probing Face Selectivity in Vision Models with Pareidolia

    arXiv 论文《Faces in Things, Faces in Nothing》利用 FacesInThings 数据集测试了六种视觉模型,探究其将模糊视觉证据转化为类别判断的机制。

    推荐理由:该研究通过 FacesInThings 数据集揭示了视觉模型将模糊证据转化为类别判断的机制,发现不同模型对“人脸”的定义存在默认偏差。

  23. arXiv · 机器人与计算机视觉13

    PointRAFT:利用高度嵌入从部分点云高效预测马铃薯块茎重量

    PointRAFT 是一种引入专用高度嵌入的深度学习回归网络,旨在解决因作物自遮挡导致的部分点云在估算性状时产生的系统性误差。该模型在操作中的马铃薯收获机上实测,对测试集 5,254 个包含 172 个块茎的点云实现了 11.7g 的平均绝对误差和 17.1g 的均方根误差,优于六种无高度嵌入的网络。其预处理与推理仅需每点云 6.3ms,满足商业收获机的高吞吐量需求,代码、权重及部分数据已公开。