V3DSAM:面向前馈稠密 SLAM 的语义 - 几何循环验证与几何锚定持久实例映射
为解决长序列前馈稠密 SLAM 中不可靠的跨视角关联问题,该研究提出 V3DSAM 系统,结合 VGGT-SLAM 2.0 的前馈几何估计与 SAM3 的开词汇语义观测。
为解决长序列前馈稠密 SLAM 中不可靠的跨视角关联问题,该研究提出 V3DSAM 系统,结合 VGGT-SLAM 2.0 的前馈几何估计与 SAM3 的开词汇语义观测。
针对现有研究主要聚焦短视频、长视频外绘存在生成不稳定和语义漂移的问题,本文提出 LongSCOP 方法。该方法通过自强制训练、潜在空间校准和未来参考等组件提升稳定性,并利用基于 VLM 的智能体自动选择关键帧以维持长时序内的主体与场景一致性。
针对通用深度伪造检测面临的篡改类型差异大及现有参数高效方法易产生偏差的挑战,该研究提出 MoSTE 框架。该方法将适应过程分解为并行的空间和时间专家池,利用无监督的 Token 级路由机制动态分配表示,使专家能自然专注于互补的伪造线索,无需显式标签或多阶段训练即可有效迁移 CLIP 表示至视频域。
dNaViT 是一种基于冻结预训练编码器的离散原生分辨率视觉 Transformer,利用分组产品量化在保持语义与像素信息的同时扩展离散容量。该模型在 12 个视觉理解基准、4 个生成基准及图像编辑基准上表现匹配或超越专用基线,证明紧凑离散词汇可作为通用视觉货币。项目页面、代码、模型权重均已公开,属于技术报告状态。
针对现有视频生成模型在物理动态上表现脆弱的难题,本文提出 PhysOPSD 方法,引入可执行代码作为特权物理上下文,将真实场景转化为可验证的仿真程序。该方法通过双级物理特权和受控物理变化,在仅用 3K 样本的情况下显著优于监督微调与强化学习基线,同时保持视频生成质量。
推荐理由:提出用可执行代码作为特权上下文,以少量样本提升视频生成的物理合理性。
论文提出一种零样本视觉语言框架,用于解决双足机器人在杂乱环境中执行自然语言操作任务的挑战。该方法将结构化场景表示与执行约束结合,在规划阶段即考虑物理可行性,并建立包含显式前后条件的并行双手动动作序列。
推荐理由:该研究提出零样本视觉语言框架,将执行可行性推理融入任务规划,在双足机器人上验证了提升成功率与故障恢复能力。
PTC-IoU 将检测框历史压缩至 CPU 以估算边缘端无标签场景下的检测质量,在 Nvidia Jetson Orin Nano 上相比神经网络基线延迟从 10.3 ms 降至 2.2 ms。该方法流水线吞吐量提升 13.6%,能耗降低高达 95%,同时在多个数据集上保持了具有竞争力的最终检测精度。
现代视觉 - 触觉传感器通常通过成像柔性界面变形来感知接触,但力相关信息仍需间接推断。本文提出 PCTac,一种开源的机械变色光子晶体指尖传感器,利用局部应力直接转化为空间分辨的结构色场作为触觉观测。
推荐理由:该研究提出基于机械变色光子晶体的触觉传感器,在真实机器人操作中显著优于传统 RGB 与纯视觉基线。
Autoregressive VLA planning usually predicts continuous trajectories as the final output。
针对动态模型参数与外力不确定性问题,该研究提出一种径向基函数神经网络补偿器,其输出由笛卡尔跟踪控制器与关节空间 CBF 滤波器共享。通过辅助状态修正学习信号,该方法在约束调节、失配不确定性及扰动试验中,有效提升了两自由度机械臂的轨迹跟踪精度并维持了关节、速度与力矩限制。论文已提交至 2027 年欧洲控制会议,arXiv 版本为 v1。
TRIAD 是一个评估多模态检索系统满足复杂动态请求能力的基准,涵盖抽象、约束及状态三个赛道。该基准含六个子集,每子集 1,000 查询与固定候选池,采用多正均值平均精度(mAP)协议评测 20 种配置的 17 个系统。结果显示无系统在全部子集领先,且跨轮次检索在 40 组对比中 39 组表现低于单轮任务。
针对动作条件下世界建模中宏观状态构建与视觉变化一致性的挑战,论文提出基于商因果构建的视觉世界模型 QCC-WM。该模型利用动作响应引导宏观变量构建,并通过共享参考商测量约束预测状态与观测变化的一致性。
针对机器人学习中多模态表征难以实现通用且良好对齐的挑战,本文提出 UniOMA 方法,通过引入几何感知的 Gromov-Wasserstein (GW) 距离正则化来增强现有的对比损失。
推荐理由:提出结合几何感知的 Gromov-Wasserstein 距离正则化,解决多模态表征结构对齐难题。
针对大规模矢量高清地图标注成本高及现有方法忽视预测不确定性的问题,本文提出 ReVMap 框架。该方法利用点级定位不确定性将全局先验融入局部预测以提升鲁棒性,并预测局部到全局的连通性以进行可靠性感知的选择性更新。在 nuScenes 和 Argoverse 2 基准上的实验表明,ReVMap 在局部地图预测与全局地图构建方面均达到最先进水平。
推荐理由:提出 ReVMap 框架,通过不确定性引导先验与连通性感知融合解决矢量 HD 地图构建中的误差传播问题。
TMT 模型利用成对可见光 - 红外图像,仅凭文本嵌入差异方向引导 CLIP 图像编码器适配红外成像。该方法引入生成感知协同监督机制,在四个源域不交的红外分类基准上实现最高零样本准确率(48.92%),并在无红外文本监督下取得最佳检索效果与 CART、SemanticRT 数据集上的最高开放词汇分割 mIoU。
ExoStack 是一个模块化 ROS 2 框架,通过 ESA 库配置 ESP32 板作为微 ROS 传感与执行枢纽。ExoCore 节点提供多枢纽同步、步态事件检测及人机闭环优化等核心功能,支持算法插件扩展而无需修改通用处理节点。该框架已在三种嵌入式计算机上完成时序表征,并成功复用于两套气动外骨骼系统。
HumanSightBench 包含 2876 道涵盖 7 大类及 21 子类的视觉问题,经五重筛选确保人类易解而模型难答。八款 MLLMs 最佳 pass@3 得分为 65.6%,计数任务无一超过 27.5%。该基准揭示被总分掩盖的能力缺口,助力未来训练与留一验证实验。
针对多机器人协作中个体观测不足的问题,论文提出一种面向任务的主动上下文共享框架,将原始观测转化为紧凑表示以保留关键信息。该方法分两阶段训练:首先联合编码车载观测与任务指令生成紧凑上下文;其次将其集成到预训练的视觉语言动作策略中实现双向交互。实验显示在受限通信条件下性能显著提升,并在复杂双机器人真实场景中验证了有效性。
推荐理由:提出面向任务的主动上下文共享框架,在受限通信预算下提升双机器人协作任务性能。
该论文提出 VLA Multi-teacher On-Policy Distillation (VLA-MOPD) 协议,旨在解决多任务视觉语言动作模型(VLA)的聚合难题。
该论文提出一种分层多通道倾覆预测框架,旨在解决非结构化环境中通信延迟导致的实时人工干预困难问题。系统利用多层级时间卷积网络(TCN)学习渐进式不稳定模式,并通过门控循环单元(GRU)构建前向动力学模型以检测意外动态偏差。
该研究提出针对以自我为中心的基础模型的法证评估框架,并以 Meta Project Aria Gen~1 采集的四处室内模拟犯罪场景进行验证。EFM3D 生成网格平均含$12{,}668\pm2{,}430$个顶点,推理处理每场需$50.77\pm6.12$分钟,其能力更适配房间几何与空间关系而非精细法医证据。该框架为未来模型在专业法证环境下的评估提供了可复现基础。
针对现有召回率指标过度依赖几何覆盖导致诊断价值不足的问题,本文提出 CADMA 框架。该方法通过真实样本与生成样本间的局部容量匹配,将几何覆盖与有效覆盖分离,从而量化模式缺失和模式坍塌等多样性失效现象,并提供更可靠的评估信号。代码已开源。
该研究提出一种结合三维预测与轨迹跟踪接口的博弈论模型预测控制规划器,用于解决无人机的协同目标到达及对抗追逐逃逸任务。PyBullet 仿真验证了可行性,实验室飞行实验进一步证实了物理平台上的轨迹跟踪接口有效性。论文已提交至 ECC27 会议,代码与权重暂未公开,仅作为控制器开发的评估基础。
针对涉及多艘无人表面船只(USV)的巡逻任务,本文提出一种结合网格路径规划、代理旅行时间预测和图强化学习的框架,以最小化任务完成时间和总延迟。该框架利用可行转换图表示候选事件并训练策略,在保持优势的同时将计算需求降低至对比基线的约 1/35,且对未见过的优先级设置具有鲁棒性。材料为预印本论文,未报告真实机器人部署结果。
论文介绍了 Embodied First Exam,这是一个统一的评估框架,允许代码智能体选择直接控制、生成代码控制或训练策略来控制机器人。该基准包含 35 个套件中的 1,156 项任务,覆盖 47 台机器人,包括 9 个新套件以应对空间谜题、灵巧操作等挑战。
针对现有具身智能基准缺乏对复杂布局中空间推理及动态场景下空间记忆的评估问题,作者提出了 GeoMind 基准。该基准包含 54 个围绕空间推理和空间记忆组织的任务变体,并提供了自动化生成与标注任务的流水线。广泛评估显示,各类代理在空间变化后的身份追踪以及将关系或几何约束转化为可执行动作方面存在显著弱点。材料为预印本版本,未报告真实机器人部署结果。
该论文提出 EgoLabel 流程,在不使用目标域标签训练的情况下整合现成模型以实现几何、物体与人体姿态的跨模态配准与一致性诊断。实验显示,相比单一全局尺度,每只手深度锚定将序列中位手 - 深度残差均值降低 23%,聚合中位为 84.6mm(真值参考 20.5mm),手部 PA-MPJPE 为 14.53±1.29mm。
作者发布 DisasterVL 数据集与基准,包含约 120 万张来自 142 个国家的灾害图像及 2500 万条结构化标注,涵盖场景描述、事件地点评估、空间关系及视觉问答。
推荐理由:该工作提出灾难场景理解基准与模型,为具身智能在极端环境下的感知推理提供新数据支撑。
论文研究类人机器人在长视界语言指令下的多目的地导航任务。作者提出 LHNav 系统,将导航组织为脑(任务推理)、小脑(局部运动生成)和脑干(全身执行)三个互补角色,利用异步机制协调目标、VLA 动作预测与全身控制。
该系统利用磁流变制动器实现从 0.01 到 0.918 Nm 的制动扭矩,总质量仅 39.8 g。在遥抓取任务中,当视觉与触觉反馈均达 100% 成功率时,触觉反馈使物体接触力降低 28.2%,显著提升了操作安全性与沉浸感。问卷结果进一步证实该装置能改善用户对遥操作的可靠性、真实感及信心。
针对基于目标的相机-LiDAR 标定中 LiDAR 点云提取棋盘格特征困难的问题,本文提出利用圆柱体 LiDAR 反射率图像将棋盘格定位转化为 2D 检测问题。通过射线感知物理增强生成合成数据以解决标注数据稀缺问题,在四个独立采集的室内外场景中,该方法相比最强图像空间增强基线 [email protected] 提升 16.1-43.1 个百分点,且在 242 次观测中实现了最高的有效目标定位数量。
作者 Dibyendu Ghosh 提出 Motion Belief Action(MBA),这是一个基于场景地图的决策层,用于处理机器人无法直接观测的物理状态与风险。
推荐理由:提出 Motion Belief Action 决策层,在真实厨房与多地点场景中提升物体存在判断与推拉风险决策能力。
针对仿真策略在真实硬件上因非理想性而性能下降的问题,论文提出 GAP 框架,通过梯度引导网络学习如何调整动作而非直接执行动作,将适应先验从仿真迁移至物理硬件。实验显示该方法在仿真阶段相比现有基线提升约 2.4 倍 F1 分数,且在真实灵巧手上对三首不同难度的乐曲分别提升了 3.6% 至 23% 的 F1 分数,展示了减少真实世界交互成本的有效路径。
推荐理由:提出利用梯度引导网络学习适应先验,在仿真阶段提升钢琴演奏任务的样本效率并迁移至物理硬件。
针对通用视觉基础模型缺乏对机器人控制所需时序敏感表征的问题,本文提出 SPARK 方法。该方法基于时序抽象与知识保留两大原则,在保持预训练语义的同时提取紧凑的视觉状态表征。实验表明,SPARK 在多基准测试中持续优于原始基础模型,且其增益可迁移至真实世界的机器人操作任务。
论文提出 SAM-VTP 方法,通过微调 SAM2 的视频记忆路径实现无提示的稠密可通行性分割,并利用深度信息直接测量坡度、粗糙度和高度等几何特征。该方法在 TartanGround 数据集上相比帧级基线显著提升了 Jaccard 和 IoU 指标并减少了闪烁,且在闭环测试中大幅降低了规划器因预测失效而中断的频率。
Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。
推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。
该研究系统评估了 VGG16、ResNet50 和 ConvNeXt-Tiny 三种 CNN 架构在 ImageNet-1K 子集上的可解释性,发现随着训练推进,复杂架构表现出更高的 Faithfulness 但更低的 Sensitivity。
Lexing Zhang 等人提出了 Motion Constraint Prediction Network (MoCo-Net),这是一个双流神经网络,用于从部分视角的点云观测中联合预测连杆部件的连续运动范围以及突出潜在碰撞区域的障碍物热力图。
Color wave 通过设备屏幕引入随机视觉刺激,对静态图像、预录视频及实时深度伪造三类注入内容进行分类与检测。实验显示该方法在受控条件下具备强判别信号,但在过曝、低亮度及主体运动等工况下存在性能局限。研究建立了针对注入攻击的专用评估协议,揭示了主动光照机制在不同操作条件与规避策略下的成功或失效原因。
该研究探讨了利用大语言模型(LLM)直接生成神经网络权重以替代传统训练数据的可能性。作者使用 Claude Opus 5.5 和 GPT-6 Astra 在无需访问任何图像的情况下,生成了用于七项医疗任务的 LeNet 风格 CNN 参数。
最多提供 50 页,更早的内容请使用搜索或主题页。