跳到正文

技术方向

计算机视觉 最新动态

检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。

985 条精选近 30 天 659 条共收录 6,653 条

更新

精选归档 · 第 32 页

10月20日周二第 621–640 条
  1. arXiv · 机器人与计算机视觉82

    多模态 Transformer 中的虚拟编码器:无需专用感知编码器的任务可用表征学习

    该论文提出‘虚拟编码器’概念,指出多模态语言模型即便不接收连续特征或离散视觉 token 的专用感知编码器输入,也能在共享 Transformer 的前中期层内部化缺失的计算,构建出任务可用的感知表征。研究通过线性探测、与感知编码器的相似度分析及因果分析验证了这一结构的存在,表明感知处理与语言处理的边界不必重合于同一架构模块,为理解多模态模型如何处理感知提供了新视角。

    推荐理由:研究发现多模态大模型可在无专用感知编码器时,在共享 Transformer 内部层构建虚拟编码器结构。

  2. arXiv · 机器人与计算机视觉82

    GraFT:一种基于三维场景图的免训练多模态大语言模型空间推理框架

    论文 GraFT 针对当前多模态大语言模型在几何测量、视角转换及细粒度外观定位上的不足,提出无需微调的解决方案。该方法通过紧凑的三维场景图(3DSG)向冻结模型提供三维结构信息,具体形式包括符号工具计算的值、鸟瞰图图像以及由几何选定的以自我为中心的画面。

    推荐理由:GraFT 提出无需微调的框架,通过图结构为冻结模型补充三维信息,在 ScanQA 和 VSI-Bench 上显著优于基线。

  3. arXiv · 机器人与计算机视觉82

    VISTA:面向视觉自回归生成的测试时组合式对齐方法

    该论文介绍 VISTA 框架,这是首个针对下一代自回归图像生成中组合约束的基于梯度的测试时优化方案。该方法构建于 Infinity 模型之上,通过冻结 Transformer 优化中间表示,无需参数更新或训练即可稳定跨尺度优化并接入任意可微交叉注意力约束。

    推荐理由:提出首个基于梯度的测试时对齐框架,在不更新参数下提升视觉自回归模型的属性绑定与空间关系能力。

  4. arXiv · 机器人与计算机视觉82

    具身智能体接管控制:最小接口零样本代理媲美工业级策略

    论文研究了通用模型如何通过最小接口直接引导感知、行动、验证和自纠正的决策循环,提出‘具身代理控制’概念。研究评估了十四款前沿多模态模型在六个导航及问答基准上的表现,发现最佳代理在部分子集上超越已发表分数并接近人类测试者水平。

    推荐理由:该研究评估了十四款前沿多模态模型在导航与问答任务中的表现,发现最小接口代理能接近人类水平,但受限于身体感知与空间理解。

  5. arXiv · 机器人与计算机视觉82

    Ultra Flash:将实时流式视频生成扩展至高分辨率

    Ultra Flash 是一种级联流式框架,旨在解决现有自回归视频扩散模型局限于低分辨率的问题。该研究在单 GPU 上实现了约 30 FPS 的 1K 分辨率和约 18 FPS 的 2K 分辨率实时生成。

    推荐理由:Ultra Flash 提出级联流式框架,在单卡 GPU 上实现 1K/2K 分辨率实时视频生成,兼顾画质与效率。

  6. arXiv · 机器人与计算机视觉82

    提升视觉基础模型视线跟随中的视线推理能力

    论文指出当前视觉基础模型(VFMs)虽提升了场景理解,但在视线推理方面贡献有限,导致依赖语义显著物体而非真实视线线索。为此提出一种新训练机制:通过头条件局部 LoRA 实现局部适应以保留场景 token 学习并优化头部 token 学习,同时引入出锥惩罚将视线线索注入头部 token 并与场景 token 对齐。

    推荐理由:针对现有视觉基础模型在视线跟随任务中场景理解强但视线推理弱的局限,提出头条件局部 LoRA 与出锥惩罚机制以增强推理能力。

  7. arXiv · 机器人与计算机视觉82

    Mono-Hydra++:基于多任务学习的单目实时三维室内场景图构建

    Mono-Hydra++ 是一种面向敏捷机器人的单目 RGB 加 IMU 流水线,用于室内度量 - 语义映射和分层三维场景图构建。系统结合 DINOv3 基的多任务模型 M2H-MX 与深度视觉惯性里程计前端,在 Go-SLAM ScanNet 子集上比最强 RGB-D 基线平均轨迹误差低 1.6%,在校准的 7-Scenes 数据集上将平均 ATE 提升 29.8%。

    推荐理由:该工作提出仅凭单目 RGB+IMU 实现实时三维场景图构建,在资源受限平台上替代深度传感器,代码与模型权重已开放。

  8. arXiv · 机器人与计算机视觉82

    Visual Text Compression as Measure Transport:基于测度传输的视觉文本压缩方法

    论文将视觉文本压缩(VTC)建模为测度传输问题,提出无需下游标签的路由准则与聚焦重编码机制,在 Qwen3-4B 上显著降低 token 消耗并提升任务得分。材料仅给出 arXiv 预印本链接,未报告真实机器人部署结果或同行评审状态。

    推荐理由:该文将视觉文本压缩建模为测度传输问题,提出无需下游标签的路由准则与聚焦重编码机制,在 Qwen3-4B 上显著降低 token 消耗并提升任务得分。

  9. arXiv · 机器人与计算机视觉78

    Any 3D Scene is Worth 1K Tokens:基于3D接地表示的大规模场景生成

    该论文提出在由强大2D基础模型(如DINOv2、SigLIP2等)导出的高维隐式3D潜空间内直接进行场景生成,以解决传统2D多视图方法存在的表征冗余和空间一致性受限问题。

    推荐理由:原文提出在基于2D基础模型的3D隐式潜空间直接进行场景生成,实验验证了该方法在效率与空间一致性上的优势。

  10. arXiv · 机器人与计算机视觉82

    TestDG:面向持续测试时适应的测试时域泛化方法

    该论文研究了持续测试时适应(CTTA)任务,即模型在测试阶段不断适应未见过的新域同时保留先前知识。现有方法多仅关注当前域而忽视对未来域的泛化能力。为此,作者提出了 TestDG 框架,旨在测试过程中在线学习对当前及历史测试域均不变的特征,并提出新的模型架构、适应策略以及原型选择更新机制以管理历史信息。

    推荐理由:提出 TestDG 框架,在测试时学习域不变特征以应对未来未知领域,在三个公开基准上达到最先进水平。

  11. arXiv · 机器人与计算机视觉82

    无需语言预训练的文本生成图像建模:Halcyon 系列模型研究

    本文提出 Halcyon,一个完全从头预训练的早融合多模态自回归模型家族,基于 100M 对图像 - 文本数据集 GPIC 训练。实验显示,Halcyon-0.52B 和 Halcyon-1.6B 在生成质量上分别优于 LlamaGen-XL/8 和 JiT-T2I-XXL/8++,且预训练计算量分别减少 18.2 倍和 275 倍。

    推荐理由:研究表明无需互联网级语言预训练即可实现强文本生成图像能力,且早融合多模态自回归模型在计算效率上显著优于现有方案。

  12. arXiv · 机器人与计算机视觉78

    CAOS-SLAM:面向动态环境的类无关对象感知实时 vSLAM 框架

    针对动态环境下移动物体会导致视觉 SLAM 建图错误和定位精度下降的问题,该研究提出 CAOS-SLAM 框架,在 ORB-SLAM3 基础上扩展了混合感知管线。

    推荐理由:该工作提出 CAOS-SLAM,通过混合感知管线在动态环境中实时剔除移动物体干扰,显著降低定位误差并支持轨迹估计。

  13. arXiv · 机器人与计算机视觉78

    DenseHap:基于单目图像的稠密手部触觉估计方法

    针对灵巧操作中人手 - 物体交互标注稀缺及现有方法存在背侧误分类、精度不足等问题,作者提出 DenseHap 统一端到端框架。该方法通过三个独立定义的头部,结合预训练三维重建骨架与增强数据集,从单目图像同时实现手距离场识别、全面接触检测、压力分析及手部重建。

    推荐理由:该工作提出统一框架,从单目图像同时估计手距离场、接触检测与压力分析,在四个数据集上显著优于现有模型。

  14. arXiv · 机器人与计算机视觉78

    基于递归语言模型的长形式视频到文本摘要

    针对现有 VideoLLM 在长视频摘要中面临的性能退化、时序连续性难保持及事件描述缺乏语义丰富度等问题,本文提出了首个递归视频语言摘要模型(RVLSM)。该模型将视频分解为语义连贯片段并委托子模型推理,采用场景感知的分块策略维持时序一致性,并通过路由机制调用动作识别、OCR 等辅助工具增强摘要的语义信息。

    推荐理由:提出首个递归视频语言摘要模型,通过语义分解与工具调用解决长视频理解难题。

  15. arXiv · 机器人与计算机视觉78

    从原因到结果:在视频中生成中间事件链

    针对视频语言模型在因果推理上的不足及现有评测缺陷,本文引入因果链生成(CCG)新任务,要求模型生成连接原因与结果的中间事件序列。研究提供了 SF20K-CC 和 CMD-CC 两个测试集,并定义了 SODA-Embedding 与 Causal-QA 两项指标以评估语义匹配度和因果连贯性。

    推荐理由:提出因果链生成任务与评测指标,通过微调提升视频语言模型对叙事因果的理解能力。

  16. arXiv · 机器人与计算机视觉84

    面向受限感知场景的多机器人水下结构三维检测 GPU 流水线

    本文介绍了一种针对水下结构的完整 GPU 驻留多机器人三维检测流水线。给定三角网格和携带短距窄视场相机的 K 个机器人,该流程计算六自由度轨迹以覆盖目标表面比例并最小化总成本。

    推荐理由:作者提出了一套完整的 GPU 驻留多机器人水下结构三维检测流程,包含可见性计算与路径规划等核心模块的 CUDA 实现。

  17. arXiv · 机器人与计算机视觉82

    MIRA:一种用于可控报告的多模态插图深度研究智能体

    MIRA 是一种专为可控报告生成的多模态插图深度研究智能体,解决了现有系统在推理中低估搜索轨迹中的图像以及生成时缺乏对报告粒度、多模态组合和证据锚定控制的问题。该工作通过 MIRA-Harness 将用户要求转化为生成合同并连接证据收集、提交、反馈修订与交付四个阶段,利用 Qwen3.6-35B-A3B 基础模型在七个代表性基准上取得最先进性能,能够产出与用户需求对齐且具备可追溯图文证据的报告。

    推荐理由:MIRA 模型通过多模态证据整合与生成合同机制,在开源智能体基准上实现最先进性能,并支持用户可控的图文报告生成。

  18. arXiv · 机器人与计算机视觉82

    LEAP:通过最优线性跳跃加速 ODE 基础扩散采样

    针对扩散模型训练中通用 ODE 数值方法因时间离散化粗糙导致性能下降的问题,本文提出基于轨迹几何理论的最优线性跳跃(LEAP)方法。该方法利用低维度和跨轨迹一致性,在局部轨迹子空间构建监督最小二乘优化问题,无需模型评估即可精确逼近未来状态。

    推荐理由:提出基于最优线性跳跃的采样加速方法,无需模型评估即可在多种模态下提升扩散模型生成效率。

  19. arXiv · 机器人与计算机视觉78

    AeroIntent:一种用于无人机任务意图识别的同步多模态基准

    针对现有数据集在评估无人机任务级意图方面的不足,该工作发布了 AeroIntent 仿真基准,包含由 22 条轨迹程序生成的 990 个雷达、RGB、红外和深度观测序列。基于此基准提出的 AeroMIR 推理器在严格的轨迹不重叠协议下,平均准确率达 71.56%,优于最强基线 7.79 个点。该基准与模型为多模态无人机意图识别提供了可复现的基础。

    推荐理由:该工作发布了一个包含多模态序列的无人机任务意图识别基准,并提出了融合雷达轨迹与视觉证据的结构化推理器。