跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉80

    仅识别事件不足:流式 VLM 在组合指令触发上的困境及 TEMPI 解决方案

    本文指出单纯识别个体事件无法保证流式视频中组合指令的正确执行,引入 CoTriggerBench 基准验证通知时机与静默问题,并提出实时 VLM 智能体 TEMPI。TEMPI 通过分解原子查询、维护场景记忆及重叠视觉编码优化推理管道,在 8 GB RTX 5060 上实现 4.90 倍加速,指令级成功率达 44.4%,优于最强闭源与开源基线。材料为预印本论文,未涉及真实机器人部署或量产许可。

    推荐理由:提出 TEMPI 智能体与 CoTriggerBench 基准,解决流式视频理解中的时序指令触发难题。

  2. arXiv · 机器人与计算机视觉75

    基于持久状态运动表征的无靶标立体 PIV 相机系统自标定

    该论文提出一种无需插入物理靶标的立体粒子图像测速(Stereo PIV)相机系统自标定方法,直接利用粒子图像序列进行校准。方法通过构建基于 CUT3R 的循环 Transformer 处理单目流以累积粒子运动状态,并利用跨视角解码器回归双向点对应关系,最终结合五点 RANSAC 求解恢复相对位姿。模型在合成数据集及真实相机布置上均实现了优于现有网络的光流误差和更高的位姿精度。

  3. arXiv · 机器人与计算机视觉82

    TyphoonWorld:一种用于台风图像概率预测的残差 Token 世界模型

    TyphoonWorld 是一种离散 Token 的世界模型,专门针对卫星台风预报生成回归网络平滑后的残差场。该模型以回归预报 Token、最新帧和最佳路径状态为条件,逐层采样残差并加到回归中心上。

    推荐理由:该工作提出残差 Token 世界模型,在台风图像概率预测中匹配回归误差并降低对流区域 CRPS。

  4. arXiv · 机器人与计算机视觉78

    AITHER:面向混合权威性的图文证据路由方法

    论文提出 AITHER(Authority-Informed Text-Image Hierarchy)框架,旨在解决传统 grounding 方法中隐含的决策问题——即何种输入有权决定答案。

    推荐理由:提出 AITHER 方法,通过无训练语义帧路由解决多权威图文推理冲突,在 MATRIX 基准上准确率超最强基线 9.1 个点。

  5. arXiv · 机器人与计算机视觉5

    ShiftGuard:评估置信度与特征距离以控制图像分类风险

    ShiftGuard 研究在 CIFAR-10 数据集上验证了最大软概率(MSP)结合预测熵的融合评分优于单纯的特征距离信号,错误检测 AUROC 达 0.9235。在仅用 1,000 张校准图像且设定 5% 风险目标时,该融合方法能接受 84.82% 测试样本并将观测误差控制在 2.05%,而单纯特征距离无法达到此认证标准。

  6. arXiv · 机器人与计算机视觉53

    Latent Fusion:一种用于结构保持图像编辑的通道拼接方法

    该研究探讨了在图像编辑中采用通道拼接(channel-wise concatenation)作为序列拼接的低成本替代方案,以保留源图像的结构布局。基于 FLUX.2 Klein 4B 基座模型,该方法仅需展宽输入投影即可实现像素对齐的输出,并保持了原始序列长度与较低的注意力成本。

  7. arXiv · 机器人与计算机视觉53

    Detection Is Not the Finish Line:多尺度解码与约束感知的全局关联用于多相机 3D 跟踪

    该论文针对冻结的检测器在多相机网络中产生身份碎片化的问题,提出了一种后处理框架以改善 3D 跟踪效果。核心方法包括在两个输入尺度间进行类别感知的源选择、将 3D 框投影到所有校准视图以匹配 2D 检测的几何外观桥接,以及结合因果短间隙缝合与离线质心链接聚类的约束感知整合。

  8. arXiv · 机器人与计算机视觉85

    Acting by Intent, Reacting by Sight:面向实时 VLM 智能体的视觉条件反射方法

    论文提出 ViCoR(Visual Conditioned Reflex)架构,旨在解决通用视觉语言模型在实时交互环境中反应过慢的问题。该方法将正常游戏动作与轻量级情境指导交由主 VLM 处理,同时利用无需深度思考的视觉反射分支检查局部动态视图以做出亚秒级决策。

    推荐理由:提出 ViCoR 架构,通过视觉条件反射分支将高频反应决策延迟降低 2.6 倍并减少 36.9% token 消耗。

  9. arXiv · 机器人与计算机视觉73

    可编辑视频上下文:用于上下文管理视频 LLM 的中间上下文 KV-Cache 复用

    Dayu Wang 等人提出了一种针对视频语言模型的上下文管理机制,通过多模态旋转位置编码(M-RoPE)和基于内容哈希的缓存策略,实现了长视频的稀疏采样与关键片段的高效解码。实验表明,该方法在合成针孔视频中能显著降低预填充 token 数和重建延迟,且通常保持回答准确性;代码、日志及复现脚本已开源。

  10. arXiv · 机器人与计算机视觉43

    T2T 技术报告:从视频教程规模化合成 GUI 智能体轨迹

    T2T 提出全自动流水线,将桌面、Web 及移动端未标注视频教程转化为结构化可执行交互轨迹。该管线结合主动片段过滤与两阶段动作空间归一化,在百万级无人类标注样本上微调 Qwen3-VL-8B。模型在 OSWorld-G、ScreenSpot-Pro 等基准实现跨应用泛化提升,且无需目标域分布内训练数据。

  11. arXiv · 机器人与计算机视觉82

    Whole-Slice Misses Escape Round-Trip Filtering and Volumetric Dice in a Source-Free Flow-Matching Segmenter

    Guobiao Wang 审计了一种无源流匹配分割器在 120 名未见训练数据上的表现,发现模型常漏检脾脏且现有质量门控(往返过滤和体积 Dice)无法识别此类错误。作者提出 Chain-and-Fill 方法在 119 名患者上满足所有预注册终点,其严重组增益与 SAM 2 传播不可区分,且仅 1/357 的患者种子对受损。

    推荐理由:原文审计了无源流匹配分割器在 CT 影像中的脾脏漏检问题,并验证了链式填充修复方法的有效性。

  12. arXiv · 机器人与计算机视觉78

    TopSDF:用于从 3D Gaussian Splatting 提取高质量三角网格的拓扑符号距离场

    论文 TopSDF 针对 3D Gaussian Splatting 提取干净、水密显式表面网格的挑战,提出将符号距离状态建模为多元高斯随机场的框架。通过学习四面体顶点间的潜在拓扑协方差,该方法扩展了局部自由度并允许候选网格顶点沿四面体的双极边灵活放置,同时直接整合变分网格化能量与能量驱动的 Gaussian 稠密化策略以改善三角形质量。

    推荐理由:提出基于拓扑协方差的 SDF 场框架,解决 3DGS 网格提取中的梯度冲突与退化三角形问题。

  13. arXiv · 机器人与计算机视觉35

    多模态地标可见性预测:长周期网络中的不同时间尺度与信号层次分析

    研究基于富士山一年尺度的多模态档案,揭示景观可见性预测存在季节气候学、当日 webcam 影像(AUC 0.95)及数值预报的清晰时间尺度层级。在 6,575 个相机 - 天数据中证实,一旦拥有目标日数值预报,当前视觉摘要对一日增益无显著贡献,机会仅存于更短视界。

  14. arXiv · 机器人与计算机视觉36

    FujiView 长期环境视觉研究: gamification 提升参与度、标注噪声显著及标签预算缩放规律

    基于富士山周边 FujiView 网络,研究发现 gamification 机制能更有效地维持长期标注参与而非提升速度或一致性。在细粒度任务中,众包投票与单标注参考仅在 49.1% 的精确可见性类别上匹配,分组后提升至 90.2%。五轮重复实验显示,使用 25% 标签池的模型平均仅比全量池模型低 2.8 个百分点,为规划标注投入提供了实证依据。

  15. arXiv · 机器人与计算机视觉78

    Robustness as a Transferable Skill: Cross-Task Adversarial Defense for Vision-Language-Action Policies

    该研究针对视觉语言动作(VLA)策略易受对抗扰动的问题,提出一种无需目标侧对抗训练即可复用源任务防御能力的跨任务防御方法。作者引入 Source-Norm Transferable Robustness Vector (SN-TRV) 技术,仅利用源更新均值方向并校准幅度,将其应用于目标视觉编码器,无需额外推理模块或梯度优化。

    推荐理由:提出无需目标侧对抗训练的跨任务防御复用方法,通过源更新迁移提升 VLA 策略鲁棒性。

  16. arXiv · 机器人与计算机视觉82

    硬负样本微调如何影响多模态大语言模型?来自组合基准的受控证据

    论文 CompHall 通过受控实验评估了硬负样本微调对多模态大语言模型组合推理能力的影响。研究发现,修正后的损失函数能显著提升空间关系问题的准确率,但该方法存在图像幻觉无关性、泛化能力有限以及引入肯定偏置等局限。

    推荐理由:该文通过受控实验揭示了硬负样本微调对多模态大模型组合推理能力的具体提升幅度与局限性,并指出了该方法引入的偏置问题。

  17. arXiv · 机器人与计算机视觉48

    处方阅读器在哪丢失药物?一项从 2.7B 语言模型到 2B 视觉语言模型的冻结重放研究

    针对手机端处方阅读管线,研究对比了 PaddleOCR 搭配 2.7B 参数语言模型与旋转裁剪配合 2B 参数视觉语言模型的效果。在 49 次合成处方捕获中,新方案将召回率从 8% 提升至 67%,手写识别由 0 增至 20/45 且消除不安全输出,但耗时增加至每张照片 61 秒、内存占用约 1.9GB。所有结果均基于单一作者与单台设备的样本内数据,未获外部验证。

  18. arXiv · 机器人与计算机视觉33

    ARC-VLN:基于自适应递归计算的视觉语言导航框架

    ARC-VLN 提出一种 token 类型感知的递归计算框架,在文本与动作 token 保留全深度计算的同时,为视觉 token 自适应选择退出深度以压缩序列。该模型在 OpenFly 的 Test-Seen 和 Test-Unseen 子集上实现了最低的导航误差、最高的成功率及路径加权成功率,并显著减少了决策步数、浮点运算量、推理时间和显存占用。

  19. arXiv · 机器人与计算机视觉78

    超越原始相似度:基于先验感知的分布外检测方法

    针对视觉语言模型在分布外(OOD)输入上过度自信的问题,本文提出多模态 Logit 融合(MM-Log)方法。该方法在不丢弃预训练几何结构的前提下,将零样本先验与任务适配分支的四个跨模态相似度通道融合为单一 OOD 分数,利用冻结 CLIP 对捷径攻击形成一致性校验。

    推荐理由:提出无需微调的零样本先验融合方法,通过冻结 CLIP 与任务分支的一致性检查提升分布外检测鲁棒性。

  20. arXiv · 机器人与计算机视觉23

    PACTHub:大规模三维光声计算机断层扫描结构化实验数据集发布

    PACTHub 是一个包含 1,464 个采集组和 99,810 次曝光的大规模三维光声计算机断层扫描(PACT)结构化实验数据集,涵盖动物、体模及人体测量。该数据集提供统一的 PAdata/JSON 表示法以关联声学信号与重建坐标,并公开了数值体积和最大强度投影等公共重建实现供复用。其保留的采集关系支持全景重建与区域信号分析,为开发评估三维 PACT 人工智能方法奠定实验基础。

  21. arXiv · 机器人与计算机视觉28

    Voxel Swin Transformer 与 ClinicalBERT 结合实现 3D 细胞形态学临床文本对比学习域自适应

    研究将 2D 对比学习方法扩展至 3D,利用 Allen Institute 数据集训练基于 MONAI SwinUNETR 的体素编码器与 ClinicalBERT。全量微调解决了冻结骨干导致的失效问题,使零样本结构准确率从 25.0% 提升至 48.6%,异常评分 ROC-AUC 达 0.628。该 MVP 验证了预训练假设对参数高效微调的重要性,但体素异常检测仍低于 0.70 基准线。

  22. arXiv · 机器人与计算机视觉58

    ThinkWise:基于视觉与难度感知的多模态推理大模型何时思考的学习方法

    该论文针对现有多模态推理大模型在视觉定位不确定时过度分配深层推理的问题,提出 ThinkWise 框架。该方法引入实例自适应的视觉感知建模机制以校准不确定性,并设计包含答案、感知与难度条件的结构化奖励公式来调节推理深度。实验表明,ThinkWise 在多个基准测试中显著提升了 3B 和 7B 模型的准确率与效率平衡。材料为预印本论文,未涉及真实机器人部署或产品发布。

  23. arXiv · 机器人与计算机视觉43

    TASN:扩散模型概念移除的时间自适应谱控制方法

    TASN 提出时间自适应谱零化方法,通过分解交叉注意力并仅在活跃概念方向追踪谱分量,解决了传统均匀干预在低能量步骤浪费资源的问题。该方法在五红队测试基准上使攻击成功率低于均匀谱零化(SN),同时恢复了大部分画质损失。消融实验证实增益源于时序针对性而非单纯降低抑制强度,且泛化于不同概念类别与架构。

  24. arXiv · 机器人与计算机视觉42

    SynPanZ:合成数据集提升黑猩猩多动物姿态估计性能

    SynPanZ 通过渲染带随机化光照与相机运动的 rigged 黑猩猩模型,生成含每实例 2D 关键点位的 RGB 视频以解决濒危大猿标注数据短缺问题。在 DeepWild 训练集上引入约三倍合成帧后,ChimpACT 测试集的实例覆盖率从 12.34% 升至 22.54%,[email protected] 精度维持在 49.71%-52.25%。

  25. arXiv · 机器人与计算机视觉72

    存在且有效:长观测间隔下存储 3D 几何的校准有效性研究

    针对重复机载激光雷达调查成本高且存储几何体易过时的难题,本文提出一种区分观测、存在性与几何有效性的概率滤波框架。该方法基于五种几何过渡(持久性、修改、生长、移除和替换)学习类特定的连续时间先验,结合形状残差与激光雷达自由空间证据,并引入功能锚点实现跨站点先验共享。

  26. arXiv · 机器人与计算机视觉42

    Spacetime Images for Computer Vision:一种新的视频表示方法研究论文

    该位置论文提出时空图像(STIs)作为计算机视觉的新输入表示,通过非帧采样切割视频体以消除静态背景冗余并支持运动分析。两项试点实验验证了该方法在 CDnet 2014 数据集上无需显式时序建模即可实现接近监督方法的背景分割,并能将相机平移速度估计转化为图像切面选择问题。研究主张切片视频体积是独立的设计变量,而非替代传统帧表示。

  27. arXiv · 机器人与计算机视觉45

    Evidence-Calibrated Selective Decoding 框架提升视觉问答可靠性

    该研究提出证据校准选择性解码框架,通过分离视觉证据支持度、分布修正强度及发布阈值三个决策,解决对比解码过度依赖语言先验或掩盖错误的问题。方法在 MSCOCO、A-OKVQA、GQA 等数据集上重新评估了现有基线,揭示了不同骨干网络与任务间的性能差异。目前该框架尚未进行模型级验证,其有效性仍为待证伪的假设而非既定实证结果。

  28. arXiv · 机器人与计算机视觉35

    LogicEye: Agent Driven Multimodal Dataset for Interpretable Ophthalmic Diagnosis

    LogicEye$^{Agent}$通过双池推理与验证智能体模拟临床思维,联合多模态大模型与专家对眼底和 OCT 图像进行质量把关。基于此构建的 LogicEye$^{Data}$包含 804,461 张配对结构化病理报告的影像,覆盖 38 种疾病及 29 个亚型。LogicEye$^{Bench}$引入类别约束损失以抑制诊断幻觉,为眼科可解释视觉语言建模奠定基础,代码已开源。

  29. arXiv · 机器人与计算机视觉70

    UMM-JEPA:基于掩码下一尺度表示预测的统一多模态模型的生成式预训练

    论文指出传统生成目标优化合成空间导致与视觉理解表征不匹配,提出 UMM-JEPA 将生成重构为从粗到细的连续视觉理解表征渐进预测。模型在预训练中解耦像素渲染,实验显示该表征预测目标使统一多模态模型的视觉基准平均分达到 51.71,优于仅用于理解的 Qwen-VL 基线(46.36),且文本均值同步提升。

  30. arXiv · 机器人与计算机视觉78

    Speaking-Clock Mamba:基于音素条件状态空间模型的视觉强制对齐

    该论文提出 Speaking-Clock Mamba 模型,旨在解决无声说话人脸视频中音素与单词边界的定位问题。现有方法在解码阶段强加转录顺序,导致编码器缺乏显式机制锚定时间表示,造成长序列下的对齐漂移。

    推荐理由:提出 Speaking-Clock Mamba,通过语音钟监督机制解决长序列对齐漂移问题。

  31. arXiv · 机器人与计算机视觉74

    ReMoVe:通过精炼视频模型自身的运动实现连贯的人体视频生成

    论文提出 ReMoVe 方法,针对现有视频生成模型在复杂运动中易出现形变和外观漂移的问题,将粗粒度输出视为运动假设而非最终结果进行自修正。该方法恢复并精炼底层运动,渲染为 3D 网格并将面部外观转移至其上,同时从同一场景推导深度与相机轨迹以增强空间一致性。实验表明 ReMoVe 在保持基生成器先验的同时,显著提升了人体结构稳定性、外观一致性和时序连贯性。