跳到正文
10月19日周一
  1. arXiv · 机器人与计算机视觉48

    RAP:通过声明式标记实现从论文到海报生成的数据集与基准

    RAP 是一个包含 2.5 万对已验证论文 - 海报的数据集及基准,涵盖 2022 至 2026 年会议作品并附带 150 篇测试集。该资源提供三层内容分类法及可渲染的 HTML/CSS 声明式标记,支持无需训练的多智能体检索填充与监督微调两种范式。在线演示已开放,旨在解决视觉编码任务中缺乏客观评估标准的问题。

  2. arXiv · 机器人与计算机视觉78

    Sink-Sparse Hybrid Attention 用于 T2I/T2V Diffusion Transformers 的高效推理

    论文提出 Sink-Sparse Hybrid Attention,这是一种无需训练的注意力替换方法,通过复用静态 sink masks 并补充轻量级 pooled-KV 分支来加速扩散 Transformer 的推理。

    推荐理由:该方法提供无需微调的推理加速方案,在保持生成质量的同时实现约1.5倍端到端速度提升。

  3. arXiv · 机器人与计算机视觉73

    COMET:面向任务无关的持续视觉语言学习的解耦蒸馏、路由与容量控制

    该研究针对视觉语言模型在开放世界场景下无法重训骨干网络的挑战,提出 COMET 框架以应对模态一致性漂移、表征空间干扰及单任务容量不足三大压力。方法上利用冻结教师提供特征参考,通过三亲和力蒸馏保持几何结构,并设计学生感知跨专家蒸馏使路由错误优雅降级;同时分离容量与推理机制,利用上下文多臂老虎机管理专家合并,结合重建路由器在测试时稀疏选择专家。

  4. arXiv · 机器人与计算机视觉42

    VISTA:面向视障用户的视觉语言动作模型零样本评估基准

    针对现有基准缺乏多模态输入与目标导向引导的不足,研究团队引入基于 Project Aria 眼镜采集的约 1000 条眼动记录数据集 VISTA。该数据涵盖六种传感器流及三类标注,覆盖物体定位到危险检测等十类任务。实验对 14 个视觉语言模型进行零样本评估,揭示其在生成日常辅助指导方面的局限,为提升无障碍体验提供新基准。

  5. arXiv · 机器人与计算机视觉45

    MedSTP:一种用于医疗视觉问答的免训练子空间转换 Token 剪枝方法

    MedSTP 提出了一种免训练的预解码剪枝框架,通过估计 Token 的主成分谱支撑并构建紧凑表示子空间来保留局部边界与纹理证据。该方法在 SLAKE、OmniMedVQA 及 RadImageNet-VQA 基准上,基于 Lingshu-7B 和 Qwen3-VL-8B 骨干模型均实现了闭卷与开卷任务的一致强性能。研究证明该框架能有效解决医疗图像剪枝中易丢失关键视觉证据的风险。

  6. arXiv · 机器人与计算机视觉78

    ProactGen:一种通过主动澄清实现视频生成的框架

    针对自然语言描述生成高质量视频时意图匹配耗时的问题,本文提出 ProactGen 框架。该框架利用强化学习训练视觉语言模型作为提问策略,基于生成的视频草稿主动向用户询问关键信息以明确意图。实验表明,ProactGen 在目标对齐方面比直接生成提升至少 1.8 倍,且单轮澄清的时间效率优于最强基线经过四轮迭代的效果。

    推荐理由:提出 ProactGen 框架,利用强化学习训练视觉语言模型主动提问以澄清用户意图,显著降低生成迭代成本并提升与目标的一致性。

  7. arXiv · 机器人与计算机视觉57

    CFC26:面向声呐鱼类计数的部署评估构建

    论文提出 Caltech Fish Counting 2026 (CFC26) 数据集,将原有数据扩展至阿拉斯加至北加州的九条太平洋鲑鱼河流系统共十一处部署地点。研究引入 nMNE 和 nMANE 两项新指标以模拟专家工作流程,揭示了上行与下行计数中此前被掩盖的方向性偏差。代码与数据已在 CaltechDATA 和 GitHub 公开。

  8. Hugging Face Daily Papers70

    More Memory, Worse Agents: Error Reproduction and Anti-Persistence in LLM Agents

    论文研究大语言模型智能体如何通过外部记忆存储执行经验以改进任务表现,指出保留抽象规则虽能复用策略但会导致错误通过检索与重生成循环持续传播(即错误复现)。作者提出 Anti-Persistence 设计,仅积累轨迹和结果并在需要时按需重构指导,执行后丢弃合成内容以防止直接复用。

10月16日周五
  1. 智东西 · 机器人42

    杭州创企磐虎智能完成数千万天使轮融资,聚焦 TigerMind 世界模型与物理交互智能 PII 技术研发

    磐虎智能宣布完成由普华资本、恒择资本投资的数千万天使轮,资金将用于研发 TigerMind 多维感官认知世界模型及端侧智能系统。该公司以创始人侯迪波(浙大教授)和联合创始人林锋(前钉钉副总裁)为核心团队,构建围绕物理交互智能 PII 的技术体系。目前企业已与城市公共事业、工业基础设施等领域伙伴开展场景共创。

  2. 盖世汽车 · 汽车资讯68

    理想汽车芯片子公司马赫心科技完成16.25亿元首轮融资

    理想汽车旗下芯片子公司上海马赫心科技有限公司签署首轮股权融资协议,融资金额16.25亿元人民币,由杭州经韬、蓝驰创投及华业天成领投。本轮融资将支持公司持续推进芯片研发与商业化,推动其在非汽车领域的业务拓展。目前自研的马赫M100芯片已搭载于新一代理想量产车型,理想汽车仍持有该公司74.01%股权并保持控股地位。

  3. arXiv · 机器人与计算机视觉39

    CIViC:面向代理任务的音频条件视觉预测证据门控协议

    CIViC 提出一种四重门控协议,通过关联解释与干预、保留任务比较或端点控制来验证视觉预测器对音频信息的真实依赖。实验在演员分离人脸栅格测试及 SpeakerVid 代理任务中证实:静态测试下跨演员音频替换符合检测规则且效应微小;合成混合数据中条件增强拟合的千步 RMSE(0.1807)高于仅音频拟合(0.1707)。该工作表明输出激活、保留误差与端点控制在不同代理任务中支持差异化的解释结论。

  4. arXiv · 机器人与计算机视觉68

    Learning Not To Interfere:一种通过解耦专家模型以减少跨任务干扰的模型合并方法

    针对独立训练的多任务模型直接合并时出现的性能下降问题,本文形式化定义了“跨任务干扰”概念,并提出 Resolving Interference (RI) 框架。该方法利用无标签辅助数据对专家模型进行轻量级适应,使其在功能上与其他任务空间正交,从而减少干扰。实验显示 RI 能将主流合并方法的性能提升最高 3.8%,泛化能力提升 2.3%。代码库已公开。

  5. arXiv · 机器人与计算机视觉58

    Stabilizing the Modality Gap: Null-Space Projected Continual Learning for Vision-Language Models

    针对多模态对齐中固有的模态间隙及持续学习引发的模态间隙漂移问题,论文提出 FPCD 框架。该方法结合快速零空间投影与对比蒸馏技术,在 11 任务 MTIL 基准上实现 Last 87.6%、Average 76.4% 和 Transfer 65.2% 的性能,并在 COCO Captions 和 Flickr30k 上保持更稳定的模态间隙与更强的零样本检索能力。

  6. arXiv · 机器人与计算机视觉18

    多模态情感识别系统:融合面部、肢体、语音与语言

    该系统结合面部表情、语音情绪、转录文本及肢体动作分析,输出概率分布以辅助心理评估。在 52 名参与者表达七种情绪的远程研究中,单模态准确率降至 82.97%-87.64%,而多模态融合系统达 96.43%(p<10^-4),所有情绪识别率均超 92.31%。v2 版本修正了实现问题并更新了结果,架构图已正式化且参考文献更新。

  7. arXiv · 机器人与计算机视觉82

    任何地球观测任务均可转化为递归自我改进:人类构建的最后遥感模型?

    该论文提出一种新范式,将地球观测(EO)模型的构建与优化工作交给通用编码智能体完成。通过定义‘夹具’(harness)和‘验证器’(verifier),任何可验证的 EO 任务都能被转化为智能体的训练目标。

    推荐理由:提出将地球观测任务转化为智能体可执行的闭环框架,在六个基准上超越现有方法,且仅需 11% 的训练标签即可实现土地覆盖映射。

  8. arXiv · 机器人与计算机视觉63

    SPARCL:一种用于胸部 X 光分析的自适应区域覆盖主动学习方法

    针对胸部 X 光病变分割标注成本高且现有主动学习策略忽视病灶空间分布的问题,本文提出 SPARCL 方法。该方法通过凹函数平衡预测不确定性与累积空间覆盖度,将标注预算导向未标记区域;引入熵门控机制在缺乏空间变化时回归标准不确定性采样。

  9. arXiv · 机器人与计算机视觉42

    TwinPrune:面向视觉语言模型的密度感知两阶段 Token 剪枝方法

    TwinPrune 提出统一空间密度信号,分别优化预填充阶段的二分合并与解码阶段的 KV 驱逐,在七种模型变体上实现算力、内存与精度的帕累托最优。该方法以 0.125 保留率在 TextVQA 任务上超越 H2O 基线 9.6 分,且压缩效率随模型规模增大而提升。代码已开源,建议将 MM-Vet 或 DocVQA 作为解码阶段剪枝的强制验证基准。

  10. arXiv · 机器人与计算机视觉72

    Image Tokenizers Should Be Trained Between Images:一种在图像码空间中间进行监督的解码器微调方法

    论文提出 InterpTok 方法,针对潜在扩散模型中生成代码落在训练样本之间导致解码瑕疵的问题,通过在两个训练样本的混合码上进行监督微调来优化解码器。该方法利用判别器判断自然度并施加混合比例损失,在保持重构质量的同时将插值质量提升三倍以上,并将匹配扩散模型的生成 FID 从 11.61 降至 8.48(无引导),且能在更少采样步数下达到更好效果。

  11. arXiv · 机器人与计算机视觉58

    Meaningful Moments:用于视频动作识别的 VLM 衍生时间重要性标签语料库

    针对现有数据集缺乏大规模动作条件化重要性标签的问题,该研究构建了 Meaningful Moments (MM) 语料库,包含约 458 万个基于视觉语言模型生成的片段重要性评分,覆盖 Something-Something v2、Kinetics-400 和 Diving-48 三个数据集的 622 个动作类别。

  12. arXiv · 机器人与计算机视觉67

    EV-JEPA:面向任意设备及跨设备推理的弹性 V-JEPA 模型

    arXiv 论文介绍 EV-JEPA,一种单次训练即可在智能眼镜、手机、机器人及服务器等异构边缘 - 云端连续体上部署的视觉基础模型。该模型具备可重构宽度和原生跨设备分区能力,核心采用过渡感知三元组训练(T3),使同一权重同时支持单设备和跨设备执行。

  13. arXiv · 机器人与计算机视觉72

    MiCo:基于语义擦除建模的互信息覆盖优化用于高效多模态大模型推理

    针对多模态大模型处理大量视觉 token 导致计算成本高的问题,本文提出 MiCo,一种无需训练的兩阶段剪枝方法。该方法利用语义擦除模型从任务对数损失推导通用的互信息覆盖目标,先在视觉信号中选择代表性候选池,再在池中执行任务感知的子集选择。

  14. arXiv · 机器人与计算机视觉28

    CAIA 框架通过认知引导自适应模糊与信噪比增强提升脑成像视觉解码准确率

    CAIA 框架针对 EEG 视觉解码中信息粒度失配和低信噪比难题,提出结合跨模态注意力的动态模糊机制与信息瓶颈正则化。实验显示该方法在零样本脑成像检索任务中,显著提升了受试者依赖与独立场景下的 Top-1 和 Top-5 准确率,优于现有方法。

  15. arXiv · 机器人与计算机视觉75

    EmbodiedMidtrain:利用中间微调弥合视觉语言模型与视觉语言动作模型的差距

    针对现成视觉语言模型(VLM)未适配具身域导致视觉语言动作模型(VLA)性能受限的问题,本文提出 EmbodiedMidtrain 方法。研究首先刻画了 VLM 与 VLA 数据分布差异,构建了基于轻量级可学习邻近估计器的中间微调数据引擎,从中筛选出高对齐候选样本构建 EmbodiedMidtrain-1M 数据集。

  16. arXiv · 机器人与计算机视觉18

    InverFill:一步反演增强少步扩散图像修复

    InverFill 提出一种针对图像修复的一步反演方法,将输入掩码图像的语义信息注入初始噪声,无需真实图像监督即可在低计算成本下实现高保真生成。该方法利用少步文生图模型配合语义对齐噪声的混合采样流程,显著优于传统混合采样并媲美专用修复模型。实验表明 InverFill 能持续提升基线少步模型质量与文本连贯性,且无需昂贵的重训练或迭代优化,已获 CVPR'26 主会接收。

  17. arXiv · 机器人与计算机视觉66

    Spectrum Matching:一种用于提升潜在扩散模型可学习性的统一视角

    本文研究变分自编码器在潜在扩散中的可学习性(diffusability),推导了像素空间去噪损失的无分布界,并提出频谱匹配假设:潜变量应遵循平坦的幂律功率谱密度以保留低频增益,并通过解码器保持频率到频率的语义对应。实验表明该方法在 CelebA 和 ImageNet 上优于先前方法,同时扩展了表示对齐(REPA)的谱域视角并提出了 DoG 基改进方法。代码与多 VAE 仓库已开源。

  18. arXiv · 机器人与计算机视觉65

    VDE Bench:评估图像编辑模型修改视觉文档的能力

    VDE Bench 是一个用于研究中英文文档图像指令引导编辑的评估资源。它包含 3,506 个样本,涵盖 1,578 个文本区域编辑和 1,928 个表格区域编辑任务。该基准将编辑指令与参考图像配对,并标注了编辑区域及结构化 OCR 输出。其评估协议结合区域级和整页测量,以评估文本正确性、结构保真度和视觉内容保留情况。

  19. arXiv · 机器人与计算机视觉73

    主动视觉感知:机遇与挑战

    这篇论文是一篇关于主动视觉感知的综述,旨在通过区分主动观测采集与处理固定输入来明确该领域的功能范围。文章围绕任务所需证据、获取动作、候选观测估值及后续传感行动选择四个问题组织文献,提出将新观测更新感知状态并指导决策的闭环评估框架。

  20. arXiv · 机器人与计算机视觉78

    UniFGVC:基于属性感知多模态检索的通用免训练少样本细粒度视觉分类

    针对多模态大语言模型(MLLM)在少样本细粒度视觉分类任务中易过拟合的问题,论文提出 UniFGVC 框架,将任务重构为基于预定义类别模板的多模态检索问题。其核心是属性感知模块 Category-Discriminative Visual Captioner,利用思维链推理生成富含判别性视觉属性的结构化描述,结合任意预训练编码器进行特征提取与相似度计算。

    推荐理由:提出无需微调的通用少样本细粒度分类框架,通过属性感知多模态检索解决 MLLM 在稀疏数据上的过拟合问题。

  21. arXiv · 机器人与计算机视觉42

    KoreaGEO:首个基于韩国街景的多模态细粒度地理定位基准评测

    KoreaGEO 是首个基于韩国街景构建的细粒度多模态隐私感知地理定位基准,覆盖四个社会空间集群及九类场所。研究通过图像、功能提示词与高风险提示词三条路径评估主流视觉语言模型,发现输入模态对定位精度影响大于模型规模,且存在向核心城市倾斜的结构化预测偏差。该工作揭示了日常社交媒体图片中严峻的位置隐私风险。

  22. arXiv · 机器人与计算机视觉52

    InkSight:通过教视语言模型读写实现离线到在线手写转换

    InkSight 旨在弥合数字笔记与传统纸笔笔记之间的差距,提出将物理手写(离线)转换为数字墨水(在线)的去渲染方法。该工作结合阅读和写作先验,允许在缺乏大量配对样本的情况下训练模型,据称是首个能有效处理具有多样化视觉特征和背景的手写文本照片并泛化到简单素描的研究。

  23. arXiv · 机器人与计算机视觉48

    纹理去噪是截然不同的挑战:需专用微调防止灾难性遗忘

    通用图像去噪模型在纹理数据集上微调虽能提升性能,却会导致对原始数据的灾难性遗忘。研究指出必须采用专门的纹理感知处理方案,以保障下游生成建模任务的忠实度与合成质量。该工作强调当前纹理细节保留仍是去噪领域的关键未解难题。

  24. arXiv · 机器人与计算机视觉78

    P2TPO:面向全页文档解析的结构对齐页面到 Token 信用分配方法

    针对全页文档解析中需保留异构元素内容与结构但易出现局部误差的问题,本文提出 Page-to-Token Policy Optimization (P2TPO) 框架。该方法通过参考元素对齐、统一锚点定价和跨度信用重分布等机制,在固定权重加性页面效用下保留局部质量差异。实验显示,P2TPO 在六个文档解析基准测试的种子平均分数上优于所有评估的策略优化基线,并在不同模型规模和初始化条件下均表现增益。

    推荐理由:提出 P2TPO 框架,通过结构对齐的信用分配解决全页文档解析中的局部误差问题,在六个基准测试上优于所有策略优化基线。

  25. arXiv · 机器人与计算机视觉28

    从草图到场景:基于标记草图的服装重光照重建系统

    该系统将带有星形高光与月亮阴影稀疏标注的服装草图及文本提示,转化为具备明确方向光且支持后期重光照编辑的纹理化三维网格。不同于现有管线将阴影烘焙为深色纹理,系统分别预测场景定向光与使标记区域在光照下形成阴影的表面位移场。该成果由 Ahmet Neçirvan Doğan 和 Eren Acar Başaran 共同贡献,论文共 11 页含 5 幅图,已上传至 arXiv。

  26. arXiv · 机器人与计算机视觉13

    AI 驱动灾害响应与人口流离失所监测研究

    人工智能已在气候预测、可再生能源设计及森林砍伐监测等广泛的人道主义任务中展现潜力。机器学习算法通过分析卫星影像与社会经济数据,实现了对贫困的预测及可持续发展促进。该研究重点展示了在灾害响应和冲突监测领域,AI 为评估损害、紧急需求及追踪人口流离失所提供的创新解决方案。

  27. arXiv · 机器人与计算机视觉65

    DocPilot:面向长文档理解的交互式代理编排与训练方法

    论文介绍 DocPilot 框架,旨在解决多模态长文档问答中稀疏证据检索难、跨模态推理弱及现有代理工作流僵化的问题。该方法通过页面级导航与细粒度定位编排证据搜索,融合局部视觉检查、代码数值推理与跨模态理解能力;提出基于课程学习的代理训练策略,利用数据驱动的推理轨迹和可执行交互轨迹进行监督,使小语言模型(SLMs)能逐步掌握从单一技能到自适应编排的能力。