跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉70

    Practice in Text, Act in Pixels: Correcting Where Perception Fails

    该研究探讨了在模拟移动平台上,基于文本视图训练的 GUI 智能体为何难以迁移到截图视觉输入的问题。作者发现阅读器的误读具有系统性且重复出现,单纯匹配噪声的仿真到现实补救无效。通过仅在阅读器层面进行对齐微调(reader alignment),使其输出与截图对应的文本视图,策略无需重新训练即可在未见任务实例上达到 80.9% 的全任务成功率,显著优于将相同预算用于直接训练策略的 55.6%。

  2. arXiv · 机器人与计算机视觉82

    何时该放大:视觉语言模型在多像素级小物体上的表现极限及优化规则

    在线视觉语言模型常因服务端缩小或拒收大图而遗漏小细节。本研究通过 601 个真实照片中的小物体问答与印刷码眼检,量化了七款主流模型在默认设置下的细节保留能力,发现分块处理可显著提升准确率并减少拒绝,自适应缩放策略能以更低算力匹配甚至超越分块效果。作者还分析了不同模型的失败模式差异,提出了五条关于智能体何时该缩放的规则,并开源了眼检工具、所有模型回答及代码。

    推荐理由:论文量化了大尺寸图像中微小细节的丢失问题,提出分块与自适应缩放策略以恢复精度并降低拒绝率。

  3. arXiv · 机器人与计算机视觉58

    TANGO:基于未对齐 RGB 引导的超光谱超分辨率与两相机采集

    针对未对齐 RGB 引导超光谱超分辨率缺乏大规模真实基准的问题,作者提出首个包含 403 个室内外场景的双相机数据集 DUET,并给出 TANGO 方法。该方法先通过端到端全局对齐补偿跨相机位移,再经粗细粒度局部特征对齐修正不一致性,并利用学习门控机制衰减无法匹配的 RGB 引导。

  4. arXiv · 机器人与计算机视觉68

    CascadeJEPA:通过空间耦合级联预测增强 3D 几何表征

    论文指出 I-JEPA 存在语义学习增强伴随 3D 几何表征退化的问题,归因于对缺乏完整空间上下文的高度抽象潜在表征进行预测。为此提出 CascadeJEPA,利用全网格上下文编码和预测阶段间的交叉注意力机制促进更丰富的块级交互。实验显示该方法在多个 3D 几何任务上优于 I-JEPA 且保持强语义识别能力,并展现出对未来特征预测和世界模型规划的潜力。

  5. arXiv · 机器人与计算机视觉42

    SpatialCast:通过投影阴影评估空间推理能力的基准

    SpatialCast 是一个利用投射阴影评估模型连接物理场景条件与视觉观察能力的基准,包含 21,000 个合成问题和 200 个真实场景问题。评测显示闭源多模态大语言模型优于通用开源权重及空间推理专用模型,后者在合成基准上表现接近随机猜测。研究还利用该数据对 GRPO 进行后训练,提升了开源模型性能并验证了其在外部空间基准上的迁移能力。

  6. arXiv · 机器人与计算机视觉38

    OmniTongue:首个中医舌诊多模态大模型基准评测

    OmniTongue 是首个针对中医舌诊的细粒度视觉问答基准,整合了 1351 张专家验证图像与 21616 条指令对。该基准涵盖 16 个临床维度、区域特异性标注及 66 个精细标签,旨在评估多模态大模型在中医领域的真实理解能力而非统计捷径。现有模型在该基准上表现不佳,暴露出缺乏领域优势与过度依赖统计技巧的局限。

  7. arXiv · 机器人与计算机视觉66

    SaySee:一种无需训练于生成图的 AI 图像检测新方法

    针对现有 AI 生成图检测器依赖生成样本导致泛化差、对非真实性特征敏感的问题,论文提出 SaySee 这一免训练检测方法。该方法通过成对描述构建生成方向并投影评分,同时利用真实图像校正格式与内容引起的偏移。在涵盖标准基准及最新生成器的 24 个评测集上,SaySee 平均 AUC 达 98.2%,优于现有最佳方法 4.2 个百分点。代码将开源。

  8. arXiv · 机器人与计算机视觉82

    REVEAL:基于语言与光流引导的视频非遮挡内容重建方法

    论文提出 REVEAL 统一扩散框架,利用用户文本查询驱动开放词汇分割获取可见掩码,并通过光流将前帧可见内容传播至遮挡区域以提供形状先验,同时用文本约束纹理重建以保持视觉连贯性。作者贡献了 LAVAT 基准数据集用于评估重度遮挡下的视频非遮挡完成任务。实验表明该方法在现有基准上达到最先进性能且保持长序列时间一致性。材料为 arXiv 预印本,已接受 TMLR 发表。

    推荐理由:提出 REVEAL 框架,结合光流与文本引导解决视频非遮挡重建难题,并开源 LAVAT 基准。

  9. arXiv · 机器人与计算机视觉63

    PlaceTally:一种用于构建地方图的测试时记忆模型

    针对相机重访已知场景导致物体重复计数的难题,该研究提出 PlaceTally 模型,这是一种无需预先知道目标类别的测试时记忆模型,能为每个视频构建地方图。模型将视频片段与最佳早期匹配的地方合并或开启新地方,利用冻结的视觉语言模型从最多 128 帧中计数每个地方一次,确保输入有界且内存随地方数量增长,建图速度为实时速度的 15 倍。

  10. arXiv · 机器人与计算机视觉48

    FPF-DM 滤波器解决状态依赖乘性噪声难题并应用于姿态与位姿估计

    FPF-DM 分解方案通过测度变换将状态依赖乘性噪声纳入粒子权重,恢复多项式形式泊松方程以支持闭式增益计算。该方法在四元数和对偶四元数流形上实现,10 个粒子的仿真验证其在 4D 姿态跟踪与 8D 点云配准任务中优于基线滤波器。该预印本论文未开源代码或权重,仅作为非线性滤波新理论提出。

  11. arXiv · 机器人与计算机视觉46

    ATS:带精确逐原语积分的抗锯齿三角形泼溅技术

    该技术提出一种基于半透明三角形的场景表示方法,通过推导三角形泼溅窗口在像素上的精确闭式解实现抗锯齿。该方法无需重新训练即可消除现有模型的严重混叠效应,相比 2x2 超采样展现出更少的时域混叠并支持多尺度训练。实验表明其在降低分辨率下能匹配或超越超采样训练效果,且仅剔除无法达到渲染器 alpha 截止值的三角形以优化性能。

  12. arXiv · 机器人与计算机视觉58

    面向高光谱与激光雷达分类的可靠性驱动特征修正方法

    该论文针对高光谱图像(HSI)和激光雷达数据中模态特征判别可靠性空间变化未被显式建模的问题,提出了 ReDF 框架。该方法通过类原型库量化各位置特征的可靠性,利用估计出的可靠性构建加权共享表示并指导基于邻域一致性的双向跨模态特征修正,进而自适应调整融合表示中各模态的贡献度。在三个公开数据集上的实验表明,其整体准确率和 Kappa 系数均优于对比方法。

  13. arXiv · 机器人与计算机视觉58

    通过全量微调与 PEFT 实现 3D 腹部视觉语言模型的自监督自适应以进行肝癌分类

    该研究针对跨机构的临床任务适配问题,利用配对腹部 CT 扫描和放射学报告对预训练的 3D 医学 VLM 进行了自监督适应。实验对比了全量微调与参数高效微调(PEFT)两种策略:全量微调收敛快但易过拟合,而 PEFT(图像编码器用 ConvLoRA,文本编码器用 LoRA)在更新约 1% 参数的情况下达到了相当的性能,AUC 为 0.79,F1 为 0.70。

  14. arXiv · 机器人与计算机视觉58

    LeViT-UNet++:面向高效医学图像分割的细粒度细节与上下文平衡研究

    Guoping Xu 等人提出 LeViT-UNet++,这是一种旨在平衡局部细节保留与全局上下文建模的高效编码器 - 解码器架构。该模型引入 Haar 小波多尺度下采样模块以分解特征表示并提取多尺度结构信息,同时开发基于深度卷积的解码器来融合 Transformer 块的全局表示与局部空间特征。

  15. arXiv · 机器人与计算机视觉84

    Disagree to Prune:通过小 VLM 的异议重分配视觉 Token

    论文提出了 PRUDENT 方法,用于加速大型视觉语言模型(VLM)。该方法利用一个小 VLM 对剪枝后结果的异议信号,将节省下来的计算资源重新分配给那些小 VLM 认为不可靠的问题进行二次回答。在 18 个基准测试中,PRUDENT 在相同的平均视觉 Token 预算下优于八种现有的剪枝方法,且在预算更紧张时优势更大。代码和数据已公开。

    推荐理由:提出 PRUDENT 方法,利用小 VLM 对剪枝结果的异议来重新分配视觉 Token,在多个基准上优于现有方法。

  16. arXiv · 机器人与计算机视觉82

    MAVE:从电影镜头重建可编辑的三维块状布局

    针对手动从参考视频中重建动画三维块状布局成本高、限制创作者使用及配对训练数据生产的问题,该工作提出 MAVE 框架与 MAVEBench 基准。MAVE 结合度量观察、代理建模和基于证据的验证,在共享度量坐标系中恢复相机、人物运动及几何证据,由代理构建受约束的可编辑环境,并通过程序化检查报告不一致性以指导优化。

    推荐理由:该工作提出 MAVE 框架与基准,从电影镜头重建可编辑三维场景,为视频生成提供结构化条件。

  17. arXiv · 机器人与计算机视觉48

    COAST:一种兼顾安全飞行走廊与快速响应的 B-Spline 轨迹规划器

    COAST 是一种基于 B-Spline 的在线轨迹规划器,通过 A*前端生成几何简单安全飞行走廊并利用二次规划优化控制点,在确保严格安全约束的同时将平均计算时间控制在 5 ms 以内。该方法利用 B-Splines 有限支撑特性保证曲线不越界,并结合 MINVO 变换与摄动最小化矩阵实现动力学可行且平滑的轨迹。研究已通过高保真仿真实验验证了该算法的有效性,源代码已公开。

  18. arXiv · 机器人与计算机视觉63

    低带宽协同感知的空间弹性共识方法

    针对车载通信预算受限问题,本文提出 Spatial Elastic Consensus (SEC) 框架,通过双向供需共识分配令牌预算以聚焦关键缺失证据而非冗余信息。该方法采用反膨胀先处理流程确保预算精确合规,并利用轻量形变采样器聚合稀疏消息以补偿空间上下文与姿态漂移。在 OPV2V、V2XSet 及 DAIR-V2X 数据集上,SEC 在 64KiB 严格预算下均取得最佳 [email protected] 性能。

  19. arXiv · 机器人与计算机视觉42

    DGV-DLIVO:退化引导视觉融合解决极端隧道环境下的直接激光雷达 - 惯性 - 视觉里程计问题

    DGV-DLIVO 提出一种针对水电溢洪道等长地下结构重复几何特征的自适应融合方法,利用激光雷达退化方向作为主动引导信号。实验显示该方法在手持或车载采集下保持连续运动估计,40 米隧道序列进度比达 91.4%,显著优于现有 LIO、LIVO 和 VIO 方法的停滞或发散问题。源代码与补充视频已公开提供。

  20. arXiv · 机器人与计算机视觉4

    nnU-Net 自配置框架在 FLARE 2026 Task 2 中实现分割表征复用的高效分类

    该研究提出一种基于 nnU-Net 的自配置框架,通过复用分割模型的编码器特征与预测概率进行图像级分类。实验显示复杂配置未持续提升性能,最终方案在公开榜单 Overall 得分为 0.8056。该方法在 FLARE 2026 Task 2 四项测试任务中综合排名第一,DSC、NSD 及 AUROC 指标均最优,且推理耗时低于每例 60 秒、显存占用低于 4GB GPU。

  21. arXiv · 机器人与计算机视觉62

    SandBAR:一种具有可移除频率支架的水下图像恢复频带非对称架构

    SandBAR 是一种针对水下图像恢复的新型统一频带非对称架构,旨在解决光散射和浑浊导致的低频外观失真与高频细节丢失问题。该架构在块、编码器和目标层面组织频带不对称性,引入保留后注意力修复槽位的频带非对称三明治块及 SPARK 模块,分别对低频进行通道感知的大范围校正和对高频进行轻量局部细化。

  22. arXiv · 机器人与计算机视觉80

    Cross3DGS:基于 Vulkan 的统一 3D Gaussian Splatting 训练方法

    论文 Cross3DGS 针对手持设备捕获场景需回传工作站训练的痛点,提出一种跨厂商、跨平台的 Vulkan 训练器。该方法在保留单一优化器的同时,根据设备限制和驱动表现动态选择执行计划,支持 NVIDIA、Intel、Arm、Qualcomm、AMD 及 Apple GPU(含 Android 与 iPhone)。

    推荐理由:Cross3DGS 提出跨厂商 Vulkan 训练器,在移动端实现高质量 3DGS 训练并优于现有工具。

  23. arXiv · 机器人与计算机视觉66

    CoSphere-SLAM:基于球面闭环的多智能体全景高斯泼溅 SLAM

    论文提出了 CoSphere-SLAM,这是首个针对全景相机的多智能体高斯泼溅 SLAM 框架。该方法利用快速傅里叶相关在任意方向对齐球面特征以解决对称房间误匹配问题,并通过全局 Sim(3) 共识剔除假闭环;同时采用方向性全局优化修正尺度漂移并分离光流与深度量级,最后通过全向高斯融合联合优化位姿与地图。实验表明其在室内及跨会话多智能体基准测试中达到了最先进的轨迹精度和渲染质量。

  24. arXiv · 机器人与计算机视觉42

    TRIDENT:水下机器人视觉感知的高效三任务学习模型

    TRIDENT 模型通过单一骨干与三个并行解码器,高效完成去雾、深度估计及不确定性评估三项水下视觉任务。实验显示该模型在图像增强和深度估计上显著优于现有方法,且在内存占用与推理时间效率上更优。其联合学习方法展现了稳健的特征匹配能力,并实现了从二维到三维视觉任务的无缝扩展。

  25. arXiv · 机器人与计算机视觉35

    Joint-ID:基于 Transformer 的水下图像增强与深度估计模型

    Joint-ID 是一种基于 Transformer 的神经网络,通过联合学习实现水下原始图像的感知质量增强与深度信息获取。该方法在合成及标准数据集上评估有效,并能在高浊度真实水下环境中进行特征匹配与显著性检测以辅助视觉引导机器人。论文由 IEEE Sensors Journal 于 2024 年发表,代码与权重暂未公开,仅允许个人使用。

  26. arXiv · 机器人与计算机视觉5

    SRED:全切片成像中的稀疏区域证据蒸馏跨放大技术

    SRED 方法在无切片级标签下,利用稀疏自编码器从 20x 特征学习事件字典并蒸馏至 5x 编码器,实现与原生 5x 推理速度匹配且平均提速 11.58 倍。该方法在七个分类分级队列中平均宏观 F1 提升 1.1 点,五个生存队列平均 C-index 提升 1.7 点。该成果作为 CVPR 2027 投稿提交,代码与权重暂未公开。

  27. arXiv · 机器人与计算机视觉82

    CueClash:前沿视觉语言模型对近画面平面三维关系的判断存在偏差

    论文 CueClash 通过构建渲染场景揭示视觉语言模型(VLM)在从图像推断三维关系时存在的线索冲突与深度压缩缺陷。实验显示,Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等模型在低推理努力下存在显著准确率差距,且其生成的俯视场景地图往往保留图像的深度缩短特性而非真实布局。研究还发现模型在处理 CV-Bench 照片中的可靠二维线索误导时也会失效。

    推荐理由:该研究揭示了前沿 VLM 在从图像推断三维关系时存在的线索冲突与深度压缩缺陷,并量化了不同模型的表现差异。

  28. arXiv · 机器人与计算机视觉78

    HandRSI:用于手部姿态估计的递归自改进框架

    针对以眼为中心的手部 3D 姿态估计器存在的边界漏检、遮挡误判和抖动问题,作者提出了 HandRSI 递归自改进框架。该框架通过编码代理迭代优化推理工具包,仅在综合指标提升且无显著退化的情况下接受变更,并利用选择性蒸馏监督无真值帧中的手部存在与时序一致性。

    推荐理由:报告了递归自改进框架在边界漏检、遮挡和抖动上的效果,代码与评估器公开。

  29. arXiv · 机器人与计算机视觉5

    Invertible Neural Network-based Registration (INNReg) 实现无监督多模态医学图像配准

    INNReg 通过可逆神经网络与动态深度卷积局部注意力机制,在 MRI T1/T2 及 MRI/CT 数据集上实现了无监督多模态医学图像配准。该方法利用基于归一化互信息的屏障损失函数约束注册网络,有效保障了图像翻译后的几何一致性。相关代码已公开,研究发表于 arXiv:2611.22152 [cs.CV]。

  30. arXiv · 机器人与计算机视觉42

    FrameSeg3D:通过学习局部帧分割高分辨率 3D 扫描中的小部件

    FrameSeg3D 提出一种新框架,先预测每个部件的局部中心与朝向,再在高分辨率视图下分割,解决了传统方法因缩放或视角导致的细节丢失问题。该方法在手部扫描指甲任务上平均 Dice 达 0.970,在 Teeth3DS+ 测试集单牙 IoU 为 96.5%,边界 IoU 达 70.5%。模型仅需少量标注即可泛化至不同部件类型,适用于计算机视觉与图形学领域的高精度分割需求。