跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉18

    SVD 框架解决平移变运动模糊图像复原问题

    针对成像系统中因运动或像差导致的平移变退化难题,该研究提出基于奇异值分解(SVD)的图像复原框架。方法依据累积能量百分比筛选小奇异值以抑制噪声放大,并在双向线性、高斯及简谐三种运动模型下验证了恢复细节与去模糊效果。论文为 arXiv 预印本,代码与权重暂未开放。

  2. arXiv · 机器人与计算机视觉38

    HandwritingAgent:语言驱动的 SVG 手写合成新模型

    HandwritingAgent 是一款无需特定风格训练的语言驱动智能体,能在离散网格画布中自主生成 SVG 格式的手写序列。该模型利用大推理模型对目标字符进行几何分析,支持对话或非对话模式下的多语种及复杂数学科学表达式生成。实验表明其在模仿、识别等任务上性能超越最先进生成模型,且具备更高效率与泛化能力。

  3. arXiv · 机器人与计算机视觉74

    匹配幅度而非布局:从 RGB 基础模型到红外检测的相位感知蒸馏

    针对跨模态知识蒸馏中高频带对齐松散的推断问题,作者提出将 RGB 教师与红外学生的共识分解为相位(空间位置)和幅度(大小)。实验显示细粒度下相位不相关而幅度仍保留,因此建议低频带进行复数特征监督、高频带仅监督幅度。

  4. arXiv · 机器人与计算机视觉66

    COLLAR:基于级联物体级潜变量细化的高保真条件生成方法

    COLLAR 是一种免训练的扩散模型优化框架,旨在解决现有方法在物体级控制中存在的视觉伪影和局部区域精确控制困难问题。该方法通过视场(FoV)扩展逐步优化物体级特征:首先利用跨尺度语义对齐模块将物体特征注入扩展视场分支以消除空间语义差距;其次引入循环特征注入机制,基于频率自适应策略用上下文对齐的局部信息更新全局骨干网络;最后将扩展视场分支作为枢纽整合上下文对齐的特征。

  5. arXiv · 机器人与计算机视觉62

    SEGA:基于频谱能量引导注意力的扩散 Transformer 分辨率外推方法

    针对扩散 Transformer 在生成超训练范围分辨率时性能下降的问题,本文提出 SEGA 方法。该方法无需额外训练,通过在去噪步骤中根据潜变量的空间频率结构动态调整 Rotary Position Embeddings 各组件的注意力缩放比例,从而改善高分辨率合成中的结构一致性与细节保真度。实验表明,SEGA 在多种目标分辨率下均能提升生成质量,优于现有免训练基线。

  6. arXiv · 机器人与计算机视觉57

    MOTOR:首个面向两轮车密集交通场景的多模态行为理解数据集

    针对全球南方两轮车事故率高且研究滞后的问题,作者发布了 MOTOR 数据集,这是首个专注于两轮车的多视角、多模态大规模资源。该数据集包含来自 16 名骑手的 25 小时以上视频数据,整合了前后及头盔视角视频、可穿戴眼动追踪、车载音频及 GPS/加速度计等遥测信息。

  7. arXiv · 机器人与计算机视觉38

    FundusGround:通过空间定位病灶证据实现临床可解释的视网膜 VQA 基准

    FundusGround 新基准引入空间定位病灶证据,收集了 10,719 张眼底图像及 15,595 个标注病灶,利用 ETDRS 网格映射至九个视网膜区域并生成 72,706 个问题。该工作通过答案准确率与病灶级推理双指标评测显示,引入空间证据能持续提升模型性能与透明度,解决了现有基准忽视视觉证据的临床可解释性问题。

  8. arXiv · 机器人与计算机视觉78

    VISTAQA:联合视觉问答与像素级证据的基准评测

    该研究提出 VISTAQA 基准,包含 1,157 个专家 curated 样本,覆盖六种任务类型和六个视觉领域,要求模型不仅回答正确,还需提供支持答案的精确分割掩码。材料引入了 GROVE 统一评估指标,通过每样本几何平均强制文本准确性与定位质量共同生效,防止任一维度弥补另一维度的不足。实验显示即使最强系统在该指标下表现也有限,凸显了推理准确性与视觉证据对齐之间的巨大差距。

    推荐理由:VISTAQA 基准与 GROVE 指标强制模型同时输出正确答案和像素级证据,揭示了当前多模态大模型在推理与定位对齐上的显著差距。

  9. arXiv · 机器人与计算机视觉33

    不变/等变半监督学习在多任务部分标注数据集上的应用研究

    该研究利用 FixMatch 及其等变扩展 Dense FixMatch,在 Cityscapes 和 BDD100K 数据集的目标检测与语义分割任务中验证了方法的有效性。实验表明,当某任务可用标注样本较少时,不变/等变半监督学习性能显著优于监督基线,且后者通常表现更佳。研究证实该方法是从有限标注数据中进行多任务学习的有前景方向。

  10. arXiv · 机器人与计算机视觉37

    Med-DisSeg:一种基于色散驱动的细粒度医学图像分割框架

    Med-DisSeg 提出轻量级 Dispersive Loss 辅助正则化,通过联合通道与空间建模增强结构响应及多尺度自适应校准,解决目标与周围组织视觉相似导致的特征可分性不足问题。在涵盖三种成像模态的五个公开数据集上,该框架在小尺寸、形变及边界模糊目标的分割任务中展现出有效性与鲁棒性。源代码与预训练模型将在论文接收后发布。

  11. arXiv · 机器人与计算机视觉58

    EchoPrune:将冗余视为时间回声以实现高效视频大语言模型

    针对长视频理解中密集采样导致视觉 token 过多、稀疏采样易丢失关键证据的问题,论文提出 EchoPrune 方法。该方法无需训练,通过将冗余视频 token 解释为可重建的时间回声来区分新事件与重复信息。利用查询引导的跨模态相关性和帧间对应匹配计算时间重建误差对 token 评分,在固定解码预算下使模型能处理多至20倍帧数,在 LLaVA-OV-7B 上实现5.6倍的推理加速和5%的性能提升。

  12. arXiv · 机器人与计算机视觉78

    Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models

    该论文提出了针对预训练视觉模型的闭式线性探测数据集蒸馏方法 CLP-DD。该方法利用冻结特征的闭式解替代迭代更新,在 ImageNet 基准上相比 LGM 大幅降低计算与显存成本,同时保持或超越性能。代码已开源。

    推荐理由:提出 Closed-Form Linear-Probe Dataset Distillation,利用预训练特征闭式解显著降低计算与显存开销。

  13. arXiv · 机器人与计算机视觉80

    通过理解监督引导统一多模态模型的视觉生成

    针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。

    推荐理由:提出理解导向后训练框架,利用语义与结构监督引导生成表示。

  14. arXiv · 机器人与计算机视觉48

    EgoEMG:多模态眼中心数据集与手姿估计基准

    EgoEMG 引入包含双侧腕部 sEMG、眼中心视频及动作捕捉数据的 25.9 小时多模态数据集,涵盖 68 名参与者、60 类手势及 10 种物体交互。研究建立 EMG-only、vision-only 与融合基准,显示添加 EMG 使 ViT-L 单帧误差从 7.39°降至 7.06°,但未见用户泛化仍具挑战。项目页面提供代码与数据访问入口。

  15. arXiv · 机器人与计算机视觉45

    ProS2T:面向无源域适应的结构 - 形状变换渐进融合方法

    ProS2T 提出了一种无需源数据、仅利用预训练视觉语言模型和无标签目标数据的完全无源域适应新范式。该方法通过结构优先与形状优先构建互补视图,渐进式融合预测以生成高置信度伪标签,在 Office-Home、VisDA-C 和 DomainNet-126 数据集上达到最先进水平并提升零样本分类性能。作为即插即用模块,ProS2T 有效解决了预处理导致的物体形变与结构线索丢失问题。

  16. arXiv · 机器人与计算机视觉15

    Beyond Visual Cues 论文因训练集泄露被撤回,STFER 框架声称在 AT-USTC 数据集上实现最先进结果但数据无效

    Jiaxuan Li 提交的 Beyond Visual Cues 论文因测试集误用于训练导致数据泄露而被撤回,报告的最先进结果不可信。该研究提出的 STFER 框架旨在利用大视觉语言模型生成身份一致性文本以增强跨模态鲁棒性,但在 AT-USTC 数据集上的实验结论已失效。作者已撤稿并准备修正研究以防止传播不准确发现。

  17. arXiv · 机器人与计算机视觉72

    AffectAgent:面向检索增强多模态情感识别的协作多智能体推理框架

    针对基于大语言模型的多模态情感识别依赖静态参数化记忆且易产生幻觉的问题,本文提出 AffectAgent 框架。该框架通过查询规划器、证据过滤器和情感生成器三个联合优化的专用智能体进行协作决策,利用 MAPPO 端到端优化并共享情感奖励以确保理解一致性。

  18. arXiv · 机器人与计算机视觉63

    TEMPER:减少人脸识别嵌入中的属性泄露

    该论文提出 TEMPlate Entropy Regularisation (TEMPER) 方法,用于从 ArcFace 等人脸识别嵌入中移除性别和种族等软生物特征属性。该方法在变分自编码器的潜在空间学习线性映射,以最大化辅助分类器的预测熵并保留配对相似度。实验显示,相比十种先前的后处理方法,TEMPER 在降低属性泄露的同时保持了更高的真实匹配率。

  19. arXiv · 机器人与计算机视觉43

    TinyNeRV:通过容量缩放、蒸馏与低精度推理实现紧凑神经视频表示

    TinyNeRV 框架提出 NeRV-T(0.80M 参数)和 NeRV-T+(1.68M 参数)两种配置,利用频率聚焦知识蒸馏在 UVG 基准上将 PSNR 平均提升 0.70 dB 至 0.78 dB。研究验证了 INT8 量化近乎无损且 INT4 经重训练适配有效,确立了资源受限场景下容量、监督与精度的实用权衡。该成果已发表于 IEEE Access 2026 年期刊。

  20. arXiv · 机器人与计算机视觉82

    Seeing but Not Thinking:多模态混合专家模型中的路由干扰研究

    该论文揭示了多模态混合专家(MoE)模型在视觉语言任务中存在的“看得见却想不出”现象,即模型能准确感知图像内容却在后续推理上失败,而纯文本输入却能正确解决相同问题。

    推荐理由:研究发现多模态 MoE 模型存在视觉感知与推理脱节现象,提出路由干扰假设并验证了通过干预激活领域专家可提升复杂视觉推理任务性能。

  21. arXiv · 机器人与计算机视觉72

    MI-Pruner:一种用于高效 MLLM 推理的跨模态互信息引导令牌剪枝器

    针对多模态大语言模型视觉令牌冗余问题,提出 MI-Pruner 方法。该方法基于投影空间中的点互信息(PMI)计算相关性得分,以反映跨模态相关性与模内冗余度。无需依赖内部注意力图或修改架构,即可无缝应用于任何预训练 MLLM 进行推理加速。

  22. arXiv · 机器人与计算机视觉82

    LatentUM:通过潜在空间统一模型释放交错跨模态推理潜力

    论文介绍 LatentUM 统一模型,其核心创新在于将所有模态表示于共享语义潜在空间中,消除生成视觉状态时的像素解码中介,使内部推理更灵活高效。实验显示该模型在 Visual Spatial Planning 基准上达到最先进水平,通过自我反思提升视觉生成功能,并在共享空间内预测未来视觉状态以展示世界建模能力。代码与模型已开源,论文为 NeurIPS 2026 Oral 录用版本。

    推荐理由:该工作提出共享语义潜在空间的统一模型架构,消除像素解码依赖,在视觉空间规划基准上达到最先进水平并展示世界建模能力。

  23. arXiv · 机器人与计算机视觉72

    Project Imaging-X:千余个开源医疗影像数据集综述与融合工具

    Project Imaging-X 是对超过 1000 个开源医疗影像数据集的最大规模综述,指出当前数据在模态、器官和任务上碎片化且分布不均,限制了通用医学基础模型的发展。作者提出元数据驱动融合范式(MDFP)以整合分散资源,并发布了交互式发现门户及结构化汇总表格,支持端到端的自动化数据集集成与快速检索。材料为 arXiv 预印本,提供项目仓库链接供社区使用。

  24. arXiv · 机器人与计算机视觉36

    Image Rotation Angle Estimation:六种架构下的五种圆周感知方法研究

    针对图像旋转估计的边界不连续难题,该研究对比了三种回归与两种分类法在十六种架构上的表现。分类法在十三种 DRC-D 骨干网中误差最低,其中结合圆周平滑标签(CSL)的方法将平均绝对误差降至 0.81°。在 COCO 数据集上,采用无痕迹协议后,基于 ConvNeXt V2 Base 的圆周高斯分布(CGD)分类法达到 3.76°误差,优于此前最强模型的 6.09°。

  25. arXiv · 机器人与计算机视觉70

    当槽位竞争时:物体中心学习中的槽位合并

    该研究针对物体中心学习中固定数量槽位导致同一实体区域被多个槽位竞争的问题,提出一种轻量级的槽位合并操作。方法通过计算槽注意力图的软 IoU 量化重叠度,利用质心更新策略合并选定的槽对以保留梯度流,决策阈值由重叠统计推断且无需额外可学习模块。

  26. arXiv · 机器人与计算机视觉68

    Skeleton-to-Image Encoding:通过视觉预训练模型实现骨骼表征学习的编码方法

    针对大规模预训练视觉模型难以直接应用于 3D 人体骨骼数据的问题,作者提出 Skeleton-to-Image Encoding (S2I) 这一新颖表示法。该方法通过将关节按身体部位语义进行分区排列并调整至标准图像尺寸,将骨骼序列转化为类图像数据。

  27. arXiv · 机器人与计算机视觉15

    SGR3 Model:无需训练的 3D 场景图检索推理模型

    该研究提出 SGR3 Model,这是一个利用多模态大语言模型与检索增强生成(RAG)实现的免训练框架,用于生成语义场景图以支持机器人高层推理。实验显示其性能在免训练基线中具竞争力且媲美基于 GNN 的专家模型,消融研究表明外部信息被显式整合进 token 生成功能。该论文已撤回,无 PDF 可供下载。

  28. arXiv · 机器人与计算机视觉68

    长期多会话外观显著变化的三维重建方法

    论文针对珊瑚礁等长期监测场景中因时间跨度大导致的外观和结构剧变,现有运动恢复结构(SfM)流程失效的问题,提出一种强制跨会话对应关系的联合 SfM 重建方法。该方法结合手工与学习特征建立长时程对应关系,并利用视觉位置识别筛选候选图像对以降低成本,在长期水下数据集上实现了标准 SfM 无法连接的会话间的连贯三维重建。

  29. arXiv · 机器人与计算机视觉70

    稀疏视频生成推动现实世界的越视域视觉语言导航

    针对现有大语言模型在越视域导航任务中短视行为的挑战,该方法首次引入视频生成模型以利用长视界监督优势。通过提出 SparseVideoNav 技术,将原本需数十秒的视频生成长度压缩为亚秒级轨迹推断,同时保持 20 秒的未来视界跨度。实验表明,该方法在越视域导航任务上的成功率是现有大语言模型基线的 2.5 倍,并首次实现了夜间复杂场景下的有效导航能力。

  30. arXiv · 机器人与计算机视觉35

    GRASP:一种面向遥感图像的引导式区域感知稀疏提示微调策略

    针对遥感图像大尺度变化与目标稀疏分布导致的多模态大语言模型过拟合问题,研究提出参数高效微调策略 GRASP。该方法利用冻结视觉令牌网格提取空间块构建结构化软提示,通过问答引导的稀疏融合机制动态聚合任务上下文并过滤背景噪声。在多个 RSVQA 基准测试中,GRASP 在保持高参数量效率的同时取得了与现有微调及提示方法具有竞争力的性能表现。

  31. arXiv · 机器人与计算机视觉72

    VIOLA:面向最小标注的视频上下文学习

    VIOLA 是一种标签高效框架,旨在解决多模态大语言模型在新视频域泛化时标注数据稀缺的问题。该方法通过密度 - 不确定性加权采样策略,从有限预算中选取兼具多样性、代表性和信息量的样本;同时构建混合池并引入置信度感知检索与提示机制,使模型能区分验证过的真实标签与噪声伪标签。实验在九个基准上使用三个大语言模型表明,该框架在低资源设置下显著优于各类基线,实现了低成本下的鲁棒适应。

  32. arXiv · 机器人与计算机视觉63

    利用多光谱图像融合实现未知空间物体周边的抗光照定位

    针对轨道操作中对未知空间目标(RSO)的导航需求,本文研究了可见光、热红外及两者融合的成像方案。研究通过像素级融合结合传感器优势进行前端跟踪,并提出一种基于剪影的新型视觉位置识别方法,该方法无需训练、全 CPU 运行且优于基线。实验对比显示,融合图像配合该剪影识别方法在光照条件、轨迹和定位性能上表现最佳,证明了多模态信息在不同导航阶段的互补性。

  33. arXiv · 机器人与计算机视觉62

    打破多模态知识型视觉问答中的视觉捷径:RETINA 基准与 MIMIR 检索器

    针对现有多模态知识型视觉问答(MKB-VQA)基准普遍存在的‘视觉捷径’问题,作者构建了 RETINA 新基准和 MIMIR 多图像多模态检索器。该基准通过 LLM 驱动流程自动构建,包含 120k 训练集和 2k 人工 curated 测试集,专门引入次要主体(相关实体)的图文对以消除捷径依赖。

  34. arXiv · 机器人与计算机视觉59

    SEPS:一种用于细粒度跨模态对齐的语义增强补丁精简框架

    该论文提出了 SEPS(Semantic-enhanced Patch Slimming)框架,旨在解决视觉与语言之间细粒度跨模态对齐中的补丁冗余和歧义问题。方法采用两阶段机制整合稠密与稀疏文本的统一语义以识别显著视觉补丁,并利用感知相关性的选择结合均值计算来突出关键的补丁 - 词对应关系,从而改善跨模态相似性评估。

  35. arXiv · 机器人与计算机视觉65

    Cross-Modal Attention Guided Unlearning in Vision-Language Models

    针对视觉语言模型在推理时可能复述敏感信息的问题,本文提出了 Cross-Modal Attention Guided Unlearning (CAGUL) 框架。该方法利用跨模态注意力机制识别低重要性的视觉 token,通过外部模块编码遗忘指令以阻断隐私泄露,同时保持模型的参考行为与效用,且无需修改预训练参数。

  36. arXiv · 机器人与计算机视觉23

    计算机视觉如何识别跨式装载单元:一项范围综述

    该研究回顾了 1990 至 2026 年间发表的 95 项关于跨式装载单元(ILU)识别的计算机视觉文献,发现仅 26 项报告端到端准确率(中位数 94.5%),且缺乏统一基准数据集。现有工作多聚焦静态场景,对车载相机移动拍摄及半挂车、换装箱等特定单元的独立评估关注不足。研究建议利用合成数据与自动覆盖路径规划构建新基准,以降低港口作业错误率并提升运营韧性。

  37. arXiv · 机器人与计算机视觉59

    AnomalyLMM:面向文本驱动的人体异常搜索的无训练框架

    针对文本查询与细微视觉线索对齐难、长尾分布及大模型微调成本高的问题,提出无需训练的粗到细框架 AnomalyLMM。该方法先利用通用检索模型初排,再通过填空式重排序机制引导多模态模型关注特定区域并生成异常描述,最后计算语义对齐进行重排序。在 PAB 和 UCC 数据集上,Recall@1 分别提升 1.93% 和 1.79%,且具备高度可解释性。代码将公开。