跳到正文
11月6日周五
  1. arXiv · 机器人与计算机视觉72

    Kineo:基于稀疏 RGB 相机的免标定度量运动捕捉方法

    该研究提出了 Kineo 系统,这是一个全自动、无需相机标定的无标记运动捕捉流程,适用于由不同步且未校准的消费级 RGB 相机拍摄的视频。该方法利用现成检测器的 2D 关键点同时完成包括 Brown-Conrady 畸变系数在内的相机标定,并重建度量尺度的 3D 关键点和密集场景点图。

  2. arXiv · 机器人与计算机视觉23

    混合方法提升眼底图像病灶分割精度

    针对脉络膜痣等微小病灶,该混合流程利用未修改的 UNet 提供粗定位先验,结合无训练超像素法(SLIC)在原生分辨率下恢复边界。在 25 张独立测试图中,该方法平均 Dice 达 90.9%,显著优于 nnU-Net、Swin UNet 等基线模型。推理无需 GPU,1024×1024 图像仅需 1.6 秒,且自动化超像素计数消除了人工调参需求。

  3. arXiv · 机器人与计算机视觉68

    LSD-3D:基于几何约束的大规模 3D 驾驶场景生成方法

    论文 LSD-3D 提出一种直接生成大规模 3D 驾驶场景的方法,旨在弥合神经重建与扩散模型在几何约束上的差距。该方法结合代理几何与环境表示的生成及从学习到的 2D 图像先验进行的分数蒸馏,实现了高可控性、提示引导的几何控制以及基于地图布局的高保真纹理和结构条件化,能够产生具有物体恒常性和显式 3D 几何估计的真实且几何一致的复杂驾驶场景。

  4. arXiv · 机器人与计算机视觉62

    多模态胸部 X 光与电子病历分类中类别不平衡策略的泄露与标签感知基准审计

    该研究审计了基于 MIMIC-CXR 数据集的多模态分类基准,发现记录级分割存在严重的标签泄露问题:约三分之一影像的标签与其入院诊断代码不匹配。在患者分离且对齐标签的评估下,各类不平衡策略未提升性能,树集成与逻辑回归无显著差异,预训练编码器也未带来统计显著的增益。作者提供了可复用的诊断工具、泄露感知协议及检查清单。

  5. arXiv · 机器人与计算机视觉78

    EDGAR:通过合成失败驱动的高效扩散高斯头像 refinement 方法

    EDGAR 是一种条件扩散框架,旨在修正高斯头像重建中的模糊、拉伸等伪影并保持身份保真度。该方法构建混合数据集 EDGAR-SET,利用自监督 Sapiens 模型提取特征注入一步扩散骨干网络,并采用专家混合架构处理不同退化类型。实验显示其在感知和重建指标上优于原始输出及基线方法,且具备跨视角一致性和极端姿态鲁棒性。代码已开源。

    推荐理由:该工作提出利用合成失败案例训练扩散模型以修复高斯头像重建中的伪影,代码已开源。

  6. arXiv · 机器人与计算机视觉44

    BrickVision 基准与 grounded reasoning 在视觉推理中的效用分析

    Grounded reasoning 通过输出思维链中的文本坐标解决复杂视觉问题,但研究显示其在计数任务有效,对广泛的空间推理基准无显著增益。现有基准多依赖可描述文本参考,难以覆盖不可描述的视觉概念,为此团队引入 BrickVision 新基准填补差距。该研究通过消融实验验证了 grounded reasoning 训练策略的局限性及特定场景下的适用性。

  7. arXiv · 机器人与计算机视觉65

    EgoGeneralist:通过原生视频建模统一第一人称动作视频任务

    论文提出了 EgoGeneralist 框架,旨在解决现代视频模型缺乏度量三维空间人体动作表示的问题。该工作利用预训练视频生成器,结合角色自适应动作渲染器和跨流动作 - 视频耦合机制,实现了动作条件的第一人称视频生成、姿态估计及联合生成等五项任务。尽管仅在受控实验室录制数据上进行适配,该方法在未见场景和交互中展现了有效的动作控制与视觉质量,成功桥接了预训练的视觉知识与度量三维人体运动。

  8. arXiv · 机器人与计算机视觉42

    InstantHand:单图生成可动画化手部 Avatar 的即插即用框架

    InstantHand 提出一种无需测试时优化的前馈框架,利用现成 MANO、相机和掩码估计从单张图像构建可动画化的 3D 高斯手部 Avatar。该方法引入软 Alpha 带正则器解决轮廓增厚问题,并通过可靠性门控外观转移保留观测区域颜色并补全未观测部分。

  9. arXiv · 机器人与计算机视觉78

    分层增量 Beta Splatting 用于在线三维重建

    该论文提出分层增量 Beta Splatting(HIBS)方法,将 Beta 核引入在线 3D Gaussian Splatting 以解决初始化差和细节缺失问题。利用几何可观测性和多视角深度一致性进行置信度感知生成,结合误差驱动的重新定位与 LOD 层级优化,在 Mip-NeRF 360 协议下提升 PSNR 最高 0.8 dB 并减少优化时间最多 40%。论文已接受至 WACV 2027。

    推荐理由:提出分层增量 Beta Splatting 方法,在在线重建任务中提升 PSNR 并缩短优化时间。

  10. arXiv · 机器人与计算机视觉78

    Aligning Policy Encoders with a Shape Teacher

    该论文提出一种训练时的形状教师对齐机制,利用预训练的 3D 形状特征作为图像策略编码器的对齐目标,将几何结构转移至纯图像接口策略中。在 LIBERO 基准测试中,该方法使物体和空间套件的政策收敛速度分别提升 4.7 倍和 5.6 倍,同时提高了任务成功率,且部署时无需依赖形状教师或深度输入。

    推荐理由:提出形状教师对齐方法,在 LIBERO 基准上加速策略收敛并提升成功率。

  11. arXiv · 机器人与计算机视觉75

    DART:面向通用异常检测的领域无关残差迁移方法

    该论文提出 DART 框架,旨在解决通用异常检测(GAD)中残差混合了可迁移异常线索与纹理、几何等域特定外观因素的问题。该方法通过残差解耦模块分离异常相关信息和域信息,并结合跨域元训练增强效果。实验在 MVTec AD、VisA 和 BraTS 数据集上验证了其优于多种基线方法的效果,尤其在强域偏移场景下增益显著。

  12. arXiv · 机器人与计算机视觉48

    SplatAnything:通过高斯间距归一化实现任意场景的 3DGS 前馈重建

    SplatAnything 提出高斯间距归一化(GSNorm),解决现有方法因全局径向统计量导致的监督模糊问题。该方法在涵盖多数据集、稀疏度及外推视角的系统基准测试中,于场景尺度与视角大幅变化下取得最先进性能。论文为 arXiv 预印本,代码与权重开放许可待注册。

  13. arXiv · 机器人与计算机视觉78

    ProQuant:面向边缘多模态大模型的渐进式量化感知训练

    arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。

    推荐理由:提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。

  14. arXiv · 机器人与计算机视觉38

    MCUFlowNet:面向微控制器的硬件感知光流神经架构搜索框架

    PACE-NAS 框架在 Grove Vision AI V2(Ethos-U55)上实现光流模型搜索,将峰值 SRAM 降低 18%。最快变体 MCUFlowNet-S 比重训 EdgeFlowNet 快 1.76 倍且误差仅增 1.6%,仿真森林飞行以 2 m/s 速度无碰撞达成目标的成功率达 51.5%(基线为 41.8%)。代码已开源,论文提交至 IEEE ISCAS 2027 待审。

  15. arXiv · 机器人与计算机视觉78

    FATE:面向无监督工业异常检测的故障感知迁移误差方法

    针对仅拥有正常样本的单类工业异常检测场景,该方法将冻结视觉 Transformer 的深度视为离散状态转移序列,利用层间余弦相似度定位 DINOv2 ViT-L 等模型中的四个关键故障线。

    推荐理由:提出基于冻结 ViT 层间故障结构的单类异常检测器,在 MVTec-AD 等基准上实现 99.75 AUROC。

  16. arXiv · 机器人与计算机视觉36

    ProtoGestalt:可解释原型框架用于面部表型分析与罕见遗传病诊断

    ProtoGestalt 提出一种基于原型的可解释框架,通过约束视觉特征选择面部区域,使预测结果能通过局部加性证据进行解释。该方法在多个控制数据集上评估了区分综合征与未受影响面部的能力,并在训练观察到的综合征中验证了诊断性能。该原型表示在对照组比例增加时仍保持有用性能,为临床决策和表型 - 基因关联发现提供了可解释的替代方案。

  17. arXiv · 机器人与计算机视觉53

    H-BRICK:一种用于有向网格图的分层边界可达性索引与压缩 Kleene 闭包

    论文提出了 H-BRICK 方法,旨在解决静态网格图中重复可达性查询的存储与效率问题。该方法将图划分为瓦片,计算局部布尔 Kleene 闭合并投影到边界端口,通过递归组合构建精确的全局可达性索引。实验表明,在多样化的地图拓扑下,H-BRICK 相比有向搜索和基于组件的基线方法,在查询密集型场景下能有效降低存储需求;批量评估显示,当 k=64 时吞吐量提升 5.0-22.9 倍。

  18. arXiv · 机器人与计算机视觉78

    基于视觉的轮式机器人自主导航集成开源栈

    该研究提出了一套面向轮式移动机器人的视觉自主导航开源栈,旨在有限传感与计算资源下整合感知、定位、规划与控制。系统连接了YOLOv8n检测、几何方向估计、RGB-D SLAM、轮惯状态估计及运动学感知规划,并通过行为树管理任务。

    推荐理由:该研究提供了一套面向轮式移动机器人的视觉自主导航开源栈,集成了YOLOv8n检测与RGB-D SLAM,在Jetson Orin NX上实现了低延迟感知,并公开了数据集与评估日志。

  19. arXiv · 机器人与计算机视觉28

    瑞士高分辨率航空影像与多模态数据构建的树种组成国家尺度映射模型

    该研究利用 0.1 m RGB 影像、机载激光雷达及 AlphaEarth 嵌入,在瑞士以 30 m 分辨率构建了包含十种主树种的基底面积共享比例图。模型在独立森林保护区数据集上对单像素达到 0.552 的宏观 R²,识别出优势类占比达 73.2%。该地图揭示了传统单一优势类地图遗漏的枫树和山毛榉等次要组分,为混合林管理与气候适应规划提供连续空间信息。

  20. arXiv · 机器人与计算机视觉68

    时空动力学感知的工业异常检测与推理方法

    针对现有工业异常检测多依赖静态模式而忽视动态缺陷的问题,本文提出 MUSTARD 框架,利用光学流引导的关键帧选择和增强模态捕捉局部运动模式与全局动态演化。该方法仅需少量正常样本即可实现高效适应且具备高决策可解释性,实验表明其在时空异常检测及提供合理解释方面表现优异。代码将公开可用。

  21. arXiv · 机器人与计算机视觉43

    Deformable Contact-Aware 3D Object Placement:将物体放置重构为落体平衡过程,在 2,063 个案例中显著优于刚性基线

    DCAP 框架摒弃静态姿态预测,通过语义释放状态驱动耦合刚柔模拟器实现物理真实的物体放置。该方法在标准任务中将 VLM 物理性与自然度提升 21.2 分、人类偏好提升 26.5%,并将平均穿透深度降低 72.3%。研究证明准确建模语义意图与物理实现的分离过程对解决室内放置问题至关重要。

  22. arXiv · 机器人与计算机视觉43

    Bri3D:通过场景锚点弥合单图三维生成中的物体 - 场景差距

    Bri3D 框架提出利用实例感知体素场景锚点,将场景级结构推理与物体级生成先验相结合以解决单图三维场景生成的几何退化问题。该粗到细设计分离了空间组织与细节合成,使冻结的物体生成器能在锚点定义的参考系中高效合成纹理几何。实验表明 Bri3D 在场景布局、物体几何及视觉质量上优于 SceneGen 和 SAM3D,且全场景生成速度快于这两者。

  23. arXiv · 机器人与计算机视觉78

    旋转对 Token 不敏感:前馈几何 Transformer 后训练量化的一种结构准则

    论文提出 QMapAnything 框架,针对前馈 3D 重建模型中异质 Token 共享激活量化网格的挑战,证明传统的浮点保持旋转和平滑属于 Token-Blind 重参数化组,仅带来共模增益而保留相对 Token SNR。

    推荐理由:提出 QMapAnything 框架,证明旋转与平滑属于 Token-Blind 重参数化,结合统计量 Gamma 预测差异化偏差修正需求。实验显示 W4A8 精度接近全精度,W8A8 显存降低 2.2–3.1 倍且速度提升最高 3.1 倍,为资源受限边缘端部署前馈 3D 重建模型提供高效方案。

  24. arXiv · 机器人与计算机视觉42

    StitchEdit:通过逐层梯度探测将深度先验融入图像编辑器

    StitchEdit 利用逐层梯度探测解决扩散模型在空间编辑任务中几何理解不足的难题,通过轻量级适配器激活骨干网几何能力并选择性微调。该方法在涵盖空间变换、遮挡操作及视角变化的 StitchEditBench(150 个样本)上,感知质量与几何保真度均超越指令式及深度条件基线。

  25. arXiv · 机器人与计算机视觉78

    XM4D:通过可认证几何优化实现 4D 重建

    arXiv 论文 XM4D 提出一种基于可认证全局最优几何优化的框架,用于准确且高效的 4D 重建。该方法将相机运动估计与非刚性形变分离,分别构建为结构化二次约束二次规划(QCQP)问题,并利用半定规划松弛获得可验证的全局最优性证书。

    推荐理由:该工作提出基于可验证全局最优几何优化的框架,在静态与动态场景下实现高精度 4D 重建。

  26. arXiv · 机器人与计算机视觉75

    基于假设空间推理的碰撞结构恢复方法

    该论文提出 Structure from Collision (SfC) 方法,旨在从多视角碰撞观测中恢复物体的隐藏内部结构(如空腔)。针对传统密度表示法难以直接指示空腔位置及梯度信息弱的难题,作者将问题重构为假设空间推理:全局阶段利用前向仅材料点法 (MPM) 进行无梯度优化筛选假设,局部阶段通过可微 MPM 模拟以拉格朗日粒子系统形式进行基于梯度的细化。

  27. arXiv · 机器人与计算机视觉82

    PlayGen2:学习具有显式三维状态的实时可玩世界

    PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。

    推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。

  28. arXiv · 机器人与计算机视觉78

    OcTreeMamba:基于八叉树稀疏化的拓扑感知 Mamba 用于三维医学分割

    OcTreeMamba 是一种将八叉树结构融入状态空间模型(SSM)的框架,旨在解决传统启发式扫描策略破坏三维解剖结构内在层次的问题。该方法通过结构学习器进行解剖自适应结构化稀疏化,利用动态八叉树构建者组织多级别拓扑以保留层级连接性,并基于构建的八叉树使用双向 Tree-SSM 沿感知连接的叶 - 父 - 根轨迹传播和整合上下文特征。

    推荐理由:提出 OcTreeMamba,通过八叉树稀疏化实现拓扑感知的长程特征传播,在血管数据集上表现优异。

  29. arXiv · 机器人与计算机视觉78

    Rain Beyond Streaks:基于场景先验的级联真实雨水与湿表面合成

    针对现有方法仅关注雨痕而忽略反射与水洼等关键物理效应的不足,该研究提出 CascadeRS 框架,利用深度和分割先验通过物理启发的零样本生成管线,渲染出包含雨痕、反射及水洼的逼真城市雨天场景。作者构建了 Cityscapes-CascadeRS 数据集以评估下游任务在真实雨天条件下的性能,并通过用户研究与定量指标验证了其在感知真实性与鲁棒性上的优势。代码与数据已开源。

    推荐理由:该工作提出 CascadeRS 框架,利用深度与分割先验生成含雨痕、反射与水洼的逼真雨天场景,并开源 Cityscapes-CascadeRS 数据集以评估恶劣天气下的视觉鲁棒性。

  30. arXiv · 机器人与计算机视觉78

    选择性事件证据与持久时间先验用于事件相机点跟踪

    arXiv 论文提出 SEPT 框架,专为长序列任意点跟踪设计,仅利用事件数据。该方法包含两个模块:任务自适应事件证据调制(TEEM)学习有界可靠性场以加权时空通道特征;持久轨迹先验(PTP)通过边缘化局部二次模型与 Schur 补传递几何信息并修正可见性坐标。

    推荐理由:该工作提出仅基于事件相机的长序列点跟踪框架,通过任务自适应证据调制与持久轨迹先验解决稀疏性与漂移问题。

  31. arXiv · 机器人与计算机视觉80

    FAH:一种在像素、交互与世界空间中快速准确的手部估计方法

    论文提出 FAH(Fast and Accurate Hand Estimation)模型族,基于 SAM 3D Body 手部分支通过微调与特征蒸馏构建。该模型直接预测对应的 2D 和 3D 关节及表面点,拟合 MANO 或 MHR-Hand 网格,并可选估计解剖部位与接触信息(无需物体几何)。

    推荐理由:提出 FAH 模型族,通过直接预测 3D 关节与因果细化提升手部估计精度与世界空间追踪能力。

  32. arXiv · 机器人与计算机视觉43

    AffineGS 通过空间变化仿射校正解锁 3DGS 精确几何

    AffineGS 提出一种无传感器方法,利用区域平滑、边缘感知的场将单目视差校正为一致度量深度,并引入法向量感知正则器耦合深度与法线。该方法在多样实验设置下保持高光度质量的同时显著提升几何精度,优于当前最先进关注几何的方法,且论文已被 NeurIPS 2026 接收。

  33. arXiv · 机器人与计算机视觉75

    FlyingDrones:基于物理渲染的光学流估计数据集与基准

    作者发布了一个名为 FlyingDrones 的基准,包含由物理渲染生成的密集真值光学流和分割掩码,并定义了分辨率归一化指标(EPE Norm)。研究评估了 16 个模型家族在分层子集上的表现,发现架构差异随分辨率增大而显著。此外,基于真实无人机视频的无真值运动对齐测试显示合成排名与真实性能存在中度相关性,微调实验表明该基准数据能有效降低误差并提升定位精度。