SAM 3 在遥感领域的零样本概念分割评估:文本与视觉提示对比分析
论文对 Segment Anything Model 3 (SAM 3) 进行了多任务实证评估,涵盖场景分类、目标检测和实例分割,且无需微调。研究发现仅使用文本提示效果较差,加入视觉提示能显著提升准确率;结合两者时效果依任务而异。在通用域开放词汇检测与分割基准上,SAM 3 的纯文本性能优于多个对比模型,但无视觉提示时的准确率仍受限,未来工作需探索参数高效微调方向。
论文对 Segment Anything Model 3 (SAM 3) 进行了多任务实证评估,涵盖场景分类、目标检测和实例分割,且无需微调。研究发现仅使用文本提示效果较差,加入视觉提示能显著提升准确率;结合两者时效果依任务而异。在通用域开放词汇检测与分割基准上,SAM 3 的纯文本性能优于多个对比模型,但无视觉提示时的准确率仍受限,未来工作需探索参数高效微调方向。
针对漫射飞行时间 LiDAR 违反单射线假设的问题,提出一种估算每个像素足迹及相对空间敏感度的简单空间校准程序。该方法利用扫描高反贴片与背景减法恢复像素级响应图,为跨模态对齐提供显式的 LiDAR 到 RGB 对应关系。研究在 ams OSRAM TMF8828 设备上进行了演示验证。
论文针对珊瑚礁等长期监测场景中因时间跨度大导致的外观和结构剧变,现有运动恢复结构(SfM)流程失效的问题,提出一种强制跨会话对应关系的联合 SfM 重建方法。该方法结合手工与学习特征建立长时程对应关系,并利用视觉位置识别筛选候选图像对以降低成本,在长期水下数据集上实现了标准 SfM 无法连接的会话间的连贯三维重建。
针对轨道操作中对未知空间目标(RSO)的导航需求,本文研究了可见光、热红外及两者融合的成像方案。研究通过像素级融合结合传感器优势进行前端跟踪,并提出一种基于剪影的新型视觉位置识别方法,该方法无需训练、全 CPU 运行且优于基线。实验对比显示,融合图像配合该剪影识别方法在光照条件、轨迹和定位性能上表现最佳,证明了多模态信息在不同导航阶段的互补性。
该工作提出一种实时方法,将相机定位到预采集的高精度彩色LiDAR点云内。通过从点云渲染合成视图并建立2D-3D对应关系,结合神经渲染技术缩小合成与真实图像的域差距,实现无漂移且具备正确度量尺度的全局跟踪。论文展示了Online Render and Match及Prebuild and Localize两种实时变体,在ScanNet++数据集上表现优于现有SLAM管线。
推荐理由:提出基于神经渲染的相机实时定位方法,在ScanNet++数据集上优于现有SLAM管线。
针对 GNSS 伪距离群值严重干扰载波相位模糊度解算的问题,本文提出一种结合多普勒一致性与 IMU-里程计运动预测的两阶段伪距筛选框架。该方法在连续跟踪时能将 RTK 三维均方根误差降低 96.18%,并在无多普勒检查时将 10 米离群值检测成功率提升至 99.58%(30 秒后)。研究通过一阶误差模型分离不确定性,利用闭式最小膨胀规则调整代码权重,在深城市峡谷等场景中表现优于惯性辅助基线。
该研究提出一种利用 OpenStreetMap Area Graph (osmAG) 结构先验的 WiFi 定位方法,旨在解决传统指纹法需要密集测绘且泛化性差的问题。
该研究提出了一种利用光流约束的几何观测器,用于单目视觉惯性里程计。该方法无需估计深度或重建运动方向,即可在重力增强群 SE3(3) 上实现速度与姿态误差的全局收敛及局部指数稳定。仿真验证了激发条件、初始误差恢复及对扰动测量的敏感性,论文共 12 页含 6 幅图,已提交至 ECC 2027。
针对机载激光扫描点云中电力线的分割与识别问题,研究对比了基于迁移学习的 Point-SAM 方法与规则法,并推导了用于三维悬链线的 RANSAC 数学公式。在法国 LiDAR HD 项目新发布的 PowLiDFR 数据集上验证显示,无监督迁移学习优于规则分割,且 RANSAC 算法在拟合悬链线形状方面表现更佳。该成果共 8 页含 10 幅图,已获 VISAPP 2027 录用并公开提供数据集下载。
针对 3D Gaussian Splatting 现有分割方法依赖渲染视图导致被遮挡或低贡献 Gaussians 监督不足的问题,提出 VODA 插件式监督目标。
推荐理由:提出 VODA 监督目标,利用局部深度结构直接监督被遮挡或贡献度低的 Gaussians,在 Removal-3D 基准上提升体积分割效果。
针对3D高斯泼溅(3DGS)在新视角合成中缺乏真实图像导致无法直接测量渲染误差的问题,本文提出 QuantileGS 框架。该方法通过冻结模型计算 RGB 均方绝对误差,学习预测误差的分位数场,并利用保留集进行尺度归一化 conformal 校准。
arXiv 论文 Body of Evidence 针对多相机设置中遮挡导致单关节仅存单一 2D 观测的问题,提出预测每相机关节深度与 2D 位置的框架。方法结合图像特征与重建的 3D 身体几何作为上下文线索以减少单目深度歧义,并引入可学习深度感知三角化以支持单相机贡献下的重建。实验在 CMU Panoptic 数据集上展示了优于现有技术的性能,特别是在三相机稀疏设置下平均精度提升显著。
MVSTF 提出端到端多分支网络,利用时序点云生成多视图图像与特征差异,并行提取时空及维度特征以解决动态环境下的边界模糊与遮挡难题。该方法在 SemanticKITTI 和 KITTI-Road 基准上实现最先进结果,并在隐藏测试集表现优异,代码已开源。
CLIFT 方法通过在 LiDAR 检测器的中间体素特征上引入实例级对比学习目标,将检测器本身转化为跟踪器,无需依赖运动模型或重识别网络。该方法利用检测框内的体素嵌入,通过余弦相似度和匈牙利算法进行跨帧匹配,并在微调过程中保持检测精度基本不变。
该论文提出 OrthoMark 方法,旨在解决激光雷达 SLAM 中的回环检测问题。该方法无需训练,利用鸟瞰图(BEV)的平移和旋转不变极坐标傅里叶谱进行候选检索,并通过相位相关估计平面位姿。
该报告描述了团队提交给 2026 年 Hilti-Trimble SLAM 挑战赛的参赛作品,在 SLAM 类别中获得第二名。系统利用提供的双鱼眼图像流和 IMU 测量数据,采用 sqrtVINS 前端结合 SuperPoint、ELSED 线段及 LightGlue 进行局部里程估计,并通过 GTSAM 后端执行紧耦合因子图优化与全局束调整,旨在处理暗光区域、重复走廊及动态物体等室内场景。
推荐理由:报告提交于 ICRA 2026 SLAM 挑战赛并获得亚军,展示了基于 sqrtVINS 与深度学习特征融合的 360 度视觉惯性里程系统。
Pointillist Maize 项目验证了使用消费级无人机 RGB 视频结合运动恢复结构与多视图立体视觉,可识别出叶片、茎秆等玉米器官。实验显示单轨道采集在植物结构内点浓度更高且空隙更少,而曲线路径虽能区分个体植株但土壤表面仍存在大量空洞。研究揭示了采集策略与重建完整性及点分散度之间的权衡,指出独立几何验证仍是定量表型分析的前提。
该报告总结了 arnav007 团队参加 IEEE BigData Cup 2026 UrbanTwin Sim2Real LiDAR Challenge(V2X-Real track)的提交工作。
InterRSGaussian 将交互式实例分割从单视图扩展至多视图框架,支持用户通过任意视角的点点击生成跨视图一致的分割结果。该方法基于 3D Gaussians 构建,引入先验蒸馏网络以提升训练效率,无需人工标注即可实现复杂三维遥感场景的感知。研究构建了包含五个不同场景、每个约一百个视角的多视图数据集,并将二维分割结果投影至三维点云以完成三维分割任务。
针对隧道衬砌检测中裂纹等细长型与渗漏、脱落等面状型缺陷的几何差异,本文提出形态解耦分割(MDS)方法。该方法利用监督路由模块将特征分为线性流和面状流:线性流采用可变形条带注意力保持裂纹连续性,面状流结合金字塔池化捕捉区域上下文;两者通过门控跨形态注意力交互。
推荐理由:提出形态解耦分割方法,通过线性与面状流处理不同缺陷几何特征,在隧道衬砌检测任务中取得优于基线模型的效果。
针对全景多目标跟踪中低分辨率身份模糊与高分辨率传输成本之间的权衡,本文提出 HIVE-ECIA 框架,在不修改检测框或底层跟踪器的情况下,通过 ECIA Base-Guided 查询策略选择性检索历史高分辨率证据以恢复碎片化身份。
SemLite-GS 提出一种针对大规模无人机倾斜影像的轻量化建筑重建框架,通过正射参考图建立全局一致身份并仅更新目标高斯以加速训练。该方法利用渲染深度与法线提取建筑平面引导有向距离场优化,在保持多边形预算相当时显著优于传统全场景重建及网格简化方法。源代码已公开于 GitHub 仓库。
论文提出了 M-CROSS,这是据作者所知首个针对连续水陆过渡场景的 SLAM 多传感器仿真数据集与基准。该数据集提供同步的 LiDAR、声纳、立体相机、IMU、DVL 及深度测量数据,包含 6DoF 位姿真值、介质状态标注和依赖介质的传感器退化模型。
该研究将基于房间概率向量(RPV)的物体目标导航策略通过机器人无关的 ROS 2 桥接,部署于波士顿动力 Spot 和 Clearpath Robotics TurtleBot 4 平台。在包含 66 次试验的大学设施中,Spot 机器人搜索 11 类物体的原始成功率为 0.455,低于仿真环境的 0.539。分析指出未检测到的玻璃墙、进入禁区及房间词汇与物理布局不匹配是导致差距的主要原因。
论文提出 SplatFlow3D 方法,旨在解决短帧间隔下物体运动的遮挡问题。该方法采用 SimpleFlow3D 作为双帧骨干网络,结合图像平面稠密信息与深度维度稀疏信息构建三维运动特征。
针对室内多层建筑中电梯或扶梯加速后进入长时间匀速巡航导致惯导退化、垂直位移低估的问题,论文提出 Local-Token Causal Attention 架构,将每秒惯性数据压缩为运动令牌并在有限缓存中维持初始状态。
推荐理由:提出 LTCA 架构解决长时惯性里程计在电梯匀速阶段的漂移问题,并在 MSIO 基准上验证了优于短窗口基线的性能。
针对 SAR 转光学翻译中过度合成细节的问题,本文提出 SAR-TopoGuard,这是一个无需训练的推理层,可冻结应用于现有生成器。该方法通过随机采样候选、斑点感知梯度相关性排名以及频率门控机制,仅在 SAR 边缘支持处引入高频细节。在 SEN1-2 等数据集上的评估显示,该方法显著提升了 Pix2Pix、CycleGAN 和 CUT 的 PSNR 与 SSIM 指标,且仅增加极低的推理延迟。
论文提出 DEFDVO 方法,通过结合球面先验的可变形特征提取、端到端的接缝感知估计以及基于球面梯度的补丁选择,解决了全景相机等距矩形投影带来的畸变与采样偏差问题。该方法仅在 TartanAirV2 合成数据上训练,在 360DVO 基准测试中将平均绝对轨迹误差降低了 4.8 倍,并取得了真实世界数据集上的最低平均 ATE。代码已开源。
arXiv 预印本论文 AerialOcc 提出了一种统一的基于占据栅格(occupancy)的空中感知模型,旨在解决现有方案依赖特定任务输出的问题。该研究构建了 AerialOcc-20K 大规模多类别占据数据集,实验表明该统一架构能在单次推理过程中支持多种无人机感知任务,在保持结构统一的同时实现具有竞争力的性能。材料为预印本版本,未提及同行评审状态或具体部署许可。
该论文提出一种无需插入物理靶标的立体粒子图像测速(Stereo PIV)相机系统自标定方法,直接利用粒子图像序列进行校准。方法通过构建基于 CUT3R 的循环 Transformer 处理单目流以累积粒子运动状态,并利用跨视角解码器回归双向点对应关系,最终结合五点 RANSAC 求解恢复相对位姿。模型在合成数据集及真实相机布置上均实现了优于现有网络的光流误差和更高的位姿精度。
该论文针对冻结的检测器在多相机网络中产生身份碎片化的问题,提出了一种后处理框架以改善 3D 跟踪效果。核心方法包括在两个输入尺度间进行类别感知的源选择、将 3D 框投影到所有校准视图以匹配 2D 检测的几何外观桥接,以及结合因果短间隙缝合与离线质心链接聚类的约束感知整合。
论文 TopSDF 针对 3D Gaussian Splatting 提取干净、水密显式表面网格的挑战,提出将符号距离状态建模为多元高斯随机场的框架。通过学习四面体顶点间的潜在拓扑协方差,该方法扩展了局部自由度并允许候选网格顶点沿四面体的双极边灵活放置,同时直接整合变分网格化能量与能量驱动的 Gaussian 稠密化策略以改善三角形质量。
推荐理由:提出基于拓扑协方差的 SDF 场框架,解决 3DGS 网格提取中的梯度冲突与退化三角形问题。
针对缺乏 LiDAR 的 iPhone 和 iPad 等移动设备,该研究提出了一种无需扫描的增强现实管线(MoGe-2),利用点图网络从单目相机帧预测度量几何并恢复深度偏移。
针对重复机载激光雷达调查成本高且存储几何体易过时的难题,本文提出一种区分观测、存在性与几何有效性的概率滤波框架。该方法基于五种几何过渡(持久性、修改、生长、移除和替换)学习类特定的连续时间先验,结合形状残差与激光雷达自由空间证据,并引入功能锚点实现跨站点先验共享。
该研究提出基于网格的子图拼接方法,将二维非特征 SLAM 问题转化为非线性最小二乘形式以同时优化全局地图和局部子帧。利用雅可比矩阵增量独立于全局占用值的特性,作者设计了仅姿态更新的 Gauss-Newton 算法,显著降低了大规模环境下的计算成本。仿真及公开激光雷达数据集的评估证实,该方法在效率、精度及解决超大规模场景能力上均优于最先进方法。
该综述分析了 41 项研究,发现直接回归是主流管线(23 项),混合 CNN-注意力架构正在兴起,但研究仍集中于 X 射线到 CT 配准。结论指出缺乏逐例不确定性估计和时序建模是临床就绪的关键缺口,并讨论了状态空间模型及基础模型的整合机会。
AR-Classroom 项目在 Meta Quest 3 头显上实现了针对乐高飞机的无标记六自由度(6DoF)追踪。
论文 DeepBA 提出一种图神经网络架构,用于从任意数量视图的二维匹配中恢复相机位姿、内参和场景结构。该方法将传统光束法平差的非线性最小二乘求解过程转化为可学习的迭代优化,支持冷启动且无需逐场景归一化。模型包含 2.04M 参数,在重建质量和位姿指标上优于先前的学习型 SfM 方法,并在视图数量增加时计算效率超越经典方法。
该论文针对自然语言点云定位任务中检索顺序决定最终输出坐标的问题,提出 SCAR 方法。该方法将每个单元 - 细粒度坐标对视为定位假设,利用骨干网络实际细粒度点的空间支持进行证据读出,并结合中心支持、语义存在度等构建 23 维表示训练共享评分器。
推荐理由:提出 SCAR 方法,通过空间一致性重排序解决自然语言点云定位中检索顺序决定最终输出的问题。
该论文提出 ALoMa 方法,利用 LoMa 关键点描述符在图像及图像对层面进行仿射对应关系(AC)估计,通过联合学习完整的 4-DoF 变换矩阵替代单独估计分量。实验表明该方法在多视图几何下游任务中表现一致优于现有方案。材料为预印本论文,代码已开源。
推荐理由:提出 ALoMa 方法,联合学习仿射变换矩阵以增强多视图几何求解的鲁棒性。