跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉33

    Radar Panoptic Transformer:语义引导掩码查询实现动态场景理解

    Radar Panoptic Transformer(RPT)提出端到端点基网络,利用雷达自适应特征提取与语义引导掩码预测解决稀疏点云分割难题。该模型在 RadarScenes 数据集以 31Hz 实时推理速度达到 71.6% mIoU 和 82.2% PQ 的最优性能。此外,RPT 在 MAN TruckScenes 长程全周视雷达设置(探测距离达 230m)中超越所有评估基线。

  2. arXiv · 机器人与计算机视觉73

    DAPPT:基于过程轨迹的域感知策略用于仿真到现实的灵巧工具使用

    论文介绍 DAPPT 框架,旨在解决涉及可变形材料和颗粒物的灵巧操作任务(如沙土挖掘、橡皮泥滚杆)难以进行大规模强化学习的问题。该方法通过追踪由领域参数化的过程轨迹来学习域感知 RL 策略,并将其蒸馏为端到端的域感知传感器运动策略。

  3. arXiv · 机器人与计算机视觉72

    DoF-Query Transformer 用于自适应融合眼动视觉与前臂 HD-sEMG 以估计连续手部运动学

    该论文提出一种无需束缚手指的多模态框架,利用基于 Vision Transformer 的视觉编码器和基于 Transformer 的 EMG 编码器,配合自由度(DoF)查询 Transformer 融合解码器,实现从眼动 RGB 图像和 128 通道前臂高密度表面肌电信号对 20 个手部关节角度的连续回归。

  4. arXiv · 机器人与计算机视觉73

    RoboKit:加速机器人学习的并行可微分优化工具包

    论文介绍 RoboKit,这是一个基于 GPU 并行多种子求解器的高性能通用工具包,旨在加速机器人学习中的并行可微分优化。材料指出其在七个任务上比特定任务基线快 2-60 倍,利用混合表示法在 2.97 秒内优化了 4096 次抓取,并将优化成本转化为策略蒸馏和强化学习的训练优势,使蒸馏策略精度相当时速度快 9-240 倍。

  5. arXiv · 机器人与计算机视觉62

    GeoReVis:面向遥感分割的选择性修订与证据整合学习

    针对语言引导的遥感分割中存在的修订退化和证据碎片化问题,本文提出 GeoReVis 框架,通过执行反馈指导修订、候选选择及跨掩码证据整合来优化分割结果。研究构建了多轮分割轨迹数据管道以生成细粒度监督信号,并提出了 ReVis-Eval 基准协议用于评估多轮修订与证据整合的准确性。实验在 ReVis-Eval 及五个遥感推理与指代分割基准上验证了该方法的有效性。

  6. arXiv · 机器人与计算机视觉42

    边缘约束下空中人员检测:预留评估与边地验证

    研究在搜索无人机资源受限条件下,对比了热成像帧标识推断、全网络应用及 YOLO11n 等检测器性能。实验显示,无测试调优的 4.6 万参数对比门控模型召回率为 10.4%,而标准 YOLO11n 在 117 米高空对步行人员的帧级检出率高达 92%。通过地面大模型重评分,YOLO11n 在测试位置的召回率提升 8.8 个百分点,但静止土色目标覆盖度仍很低。

  7. arXiv · 机器人与计算机视觉78

    SAFER:解决基于世界模型的自动驾驶规划中的探索 - 利用困境

    论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。

    推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。

  8. arXiv · 机器人与计算机视觉38

    MambaVision 在胸部 X 光分类任务中通过替换第四阶段实现参数与精度权衡

    MambaVision 混合架构将大部分参数置于最宽第四阶段,研究将其替换为轻量级状态空间块以量化贡献。在 Tiny 和 Small 规模下,该操作减少 35.7% 参数量并提升 GPU 吞吐量 19.3%,但无蒸馏时 ChestMNIST 曲线下面积均值下降 0.004;知识蒸馏可缩小差距至 0.001-0.002。

  9. arXiv · 机器人与计算机视觉48

    EgoSwarm:首个从人类群集演示学习去中心化机器人协作的框架

    EgoSwarm 是首个能从人类群集演示中学习去中心化多机器人协作的机器人学习框架。该框架利用无机器人的多人第一人称系统收集了超过 50 小时的合作经验,并通过 Swarm Interaction Packet (SIP) 和 Swarm Interaction Token (SIT) 从分布式观测中恢复跨智能体交互关系。

  10. arXiv · 机器人与计算机视觉63

    Geo2Gcode:从三维几何到 CNC 程序的结构化加工原语转换

    针对将三维形状转为数控程序仍依赖人工的现状,该研究提出 Geo2Gcode 方法,通过结构化加工原语将目标网格直接编译为标准 G-code 代码。该方法利用体素库存模拟器训练轻量级选择器自动填充参数,在 ABC 零件仿真中达到与专家调优商业 CAM 相当的粗加工精度,且无需针对每个零件进行手动设置。生成的程序已在商业 G-code 模拟器运行,并成功在一台物理数控铣床上完成了一个零件的加工。

  11. arXiv · 机器人与计算机视觉78

    PointWM:一种用于点云视频预训练的无泄露潜在世界模型

    针对点云视频自监督学习中存在的几何位置与时间掩码导致的信息泄露问题,论文提出了 PointWM 方法。该方法通过仅使用目标最后一次出现的位置和时间戳进行查询,并学习无需标注的潜在动作来预测未来帧的特征与几何结构,从而将任务从补全转变为真正的因果预测。

    推荐理由:提出 PointWM 方法解决点云视频预训练中的信息泄露问题,在 HOI4D 任务上显著优于从头训练。

  12. arXiv · 机器人与计算机视觉46

    Cosmos4D:通过引力势与光度分层动力学,在四维上重建星系演化

    Cosmos4D 模型利用引力 4D Gaussian Splatting 和光度分层动力学,成功从多视角图像中恢复星系的四维演化。该方法在包含八条银河的宇宙学仿真数据集上,优于动态高斯基线的光度质量与物理准确性。研究展示了在 96 帧内重现星系 8 亿年生命周期的能力,解决了现有方法无法处理微弱恒星群体及重力约束的问题。

  13. arXiv · 机器人与计算机视觉72

    SGIP:学习场景 grounded 交互先验以进行场景感知的人体运动预测

    SGIP 是一种用于人体运动预测的新方法,旨在解决复杂场景中未来运动目标模糊的问题。该方法通过意图蒸馏技术,在训练阶段利用大语言模型结合几何特征对候选区域打分,使学生模型仅凭观测到的运动和三维场景信息即可学习场景 grounded 交互先验,从而在无需 gaze 或 intent 的情况下准确预测轨迹和全身姿态。实验表明,SGIP 在多个基准数据集上优于现有的场景感知基线,证明了该框架的有效性。

  14. arXiv · 机器人与计算机视觉65

    基于掩码的视觉强化学习中提示词重指定与目标掩码可用性的研究

    针对视觉强化学习(RL)策略在着陆垫外观变化时失效的问题,该研究利用二值目标掩码保留空间表征并引入文本提示来指定目标。实验表明,仅通过修改冻结 DrQ-v2 策略对应的 SAM 3 检测器提示词,即可将香蕉主题着陆垫的成功率从 12.0% 恢复至 68.4%,而无需更新权重;相比之下,填充缺失掩码或修正掩码质心与面积的效果有限。

  15. arXiv · 机器人与计算机视觉72

    MARLIN:面向不平衡 SAR 船舶分类的多尺度方向稀疏表示学习

    该论文提出了 MARLIN 框架以解决合成孔径雷达(SAR)海洋监测中船舶分类面临的标签数据有限、类别不平衡及目标尺度与朝向变化等挑战。架构通过并行编码器分支构建互补表示,采用方向稀疏卷积捕捉长条状散射模式,并结合类频率感知目标优化嵌入空间,使少数类样本形成紧凑簇并增强类别对分离。

  16. arXiv · 机器人与计算机视觉3

    acuSimNet:多视角自遮挡感知颅颈针灸点可见性学习模型

    acuSimNet 提出高效分层多任务架构,实现颅颈区 174 个针灸点的多视角自遮挡可见性预测,验证集准确率高达 99.97%。该方法将训练效率从现有方法的 3000 轮提升至优化框架仅需 86 轮即达 99% 精度,有效解决高维分类与收敛难题。该工作旨在推动中医针灸点检测与可视化的自动化进程。

  17. arXiv · 机器人与计算机视觉72

    FastGRN:基于少步生成的图像精炼网络

    本文介绍 FastGRN,一种仅需少数步骤即可生成高保真图像的离散潜在变量精炼网络。作者通过在自身样本分布上进行训练、利用均匀状态扰动进行离散 token 匹配以及类 rectified flow 的噪声配对策略,将传统 GRN 所需的数十步 Markov 过程压缩至几步。

  18. arXiv · 机器人与计算机视觉82

    ReactBench-AD:驾驶 VLA 和世界动作模型能否对路径中的突发危险做出反应?

    该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。

    推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。

  19. arXiv · 机器人与计算机视觉82

    PlanDiv:基于潜在规划的视觉语言动作模型测试时扩展方法

    该论文提出 PlanDiv 模块,通过引入轻量级规划器生成 K 个潜在计划假设,使视觉语言动作模型的多个候选动作差异源于规划而非噪声。在固定主干网络与训练数据下,该方法将 CALVIN 基准上五步任务链成功率从 56.9% 提升至 69.9%,并在 LIBERO-Long 和真实 Franka 机械臂实验中验证了其在多解任务中的优势。材料为预印本论文,未提及开源代码或模型权重。

    推荐理由:提出 PlanDiv 模块,利用潜在规划假设提升 VLA 模型在测试时的多候选执行成功率。

  20. arXiv · 机器人与计算机视觉74

    跨模态对齐的关键因素:LightAlign 方法仅需少量配对数据实现医学影像与文本的高效对齐

    论文测试了零配对跨模态对齐的可行性,发现仅在自然图像数据集成功,而环境音频、胸部 X 光及 CT 等失败,分析表明需先定位共变子空间。为此提出 LightAlign 方法:利用少量配对数据通过岭回归同时确定映射位置与方向,并用文本分类器预测医学影像中的诊断结果。在 3D CT 任务上,该方法仅需约 200 对数据即可超越端到端训练的模型,且在未见过的医院数据集上也表现优异。

  21. arXiv · 机器人与计算机视觉78

    MoViC:基于单目视频的实时人形机器人全身控制

    论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。

    推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。

  22. arXiv · 机器人与计算机视觉78

    复杂环境下多类隧道缺陷的形态解耦分割方法

    针对隧道衬砌检测中裂纹等细长型与渗漏、脱落等面状型缺陷的几何差异,本文提出形态解耦分割(MDS)方法。该方法利用监督路由模块将特征分为线性流和面状流:线性流采用可变形条带注意力保持裂纹连续性,面状流结合金字塔池化捕捉区域上下文;两者通过门控跨形态注意力交互。

    推荐理由:提出形态解耦分割方法,通过线性与面状流处理不同缺陷几何特征,在隧道衬砌检测任务中取得优于基线模型的效果。

  23. arXiv · 机器人与计算机视觉78

    练习并非免费:测量无重置机器人的具身成本

    本文提出一种开源的低成本测试床,用于测量机器人在无人工重置干预下的实际练习成本(时间、关节磨损及人工注意力)。研究构建了一套包含视觉成功检测与账本记录的硬件系统,记录了每次尝试的详细数据。

    推荐理由:作者构建低成本测试床量化机器人练习的隐性成本,提出基于实测收益的任务调度方案并验证其有效性。

  24. arXiv · 机器人与计算机视觉36

    CRAFT:一种无需重训机器人技能的场景感知适应框架

    CRAFT(Contextual Requirement Adaptation with Frozen Tools)框架在仿真环境中研究机器人如何在不重训技能的情况下学习局部需求。该框架通过结合记忆、显式规则和自适应学习者,在相机基底的模拟中减少了提问次数并提升了效用奖励。所有实验证据均源自生成需求的仿真环境及包含执行失败和超时的评估数据,真实部署与泛化能力尚待验证。

  25. arXiv · 机器人与计算机视觉58

    Two-Stage Prompt Learning:一种无需服装假设的行人重识别统一框架

    论文提出 Two-Stage Prompt Learning (TSPL) 框架,解决现有方法依赖固定指令且难以处理未知换衣场景的问题。第一阶段在冻结编码器下解耦服装与身份特征;第二阶段利用可学习上下文嵌入训练图像编码器,实现跨同衣、换衣及未知场景的鲁棒适应。实验显示该方法在 LTCC 和 VC-Clothes 基准上分别提升 mAP 9.2% 和 6.4%,代码将开源。

  26. arXiv · 机器人与计算机视觉42

    SAGE-VQA:一种无需训练、具备自进化能力的知识型视觉问答智能体框架

    SAGE-VQA 提出了一种无需微调的自主智能体框架,通过证据驱动的自适应推理策略解决视觉感知幻觉与泛化受限问题。该框架利用共验证视觉定位模块获取细粒度证据,并借助自进化分层记忆机制复用经验以支持跨任务稳健推理。实验表明其性能优于基于轻量开源及闭源视觉语言模型的现有方法,且可作为插件直接适配现有架构而不修改模型结构。

  27. arXiv · 机器人与计算机视觉33

    Unitree Go1 四足机器人紧急支持系统设计:从伴侣到守护者

    针对独居老人需求,该系统基于 Unitree Go1 平台构建,融合陪伴、危险感知与应急三种模式。通过规则升级策略结合视觉语音输入判断风险等级,经 105 次自动化及 25 次物理阶段试验验证决策逻辑,在超时未确认时自动触发应急介入。该设计已接受 Australasian Conference on Robotics and Automation (ACRA) 会议录用。

  28. arXiv · 机器人与计算机视觉48

    AgenticJevNav:通过事件驱动验证实现智能物体搜索与导航

    AgenticJevNav 架构在六类仿真任务中达到 73.33% 成功率,较次优基线提升 21.67 个百分点;真实世界 GENISOM L1 四足机器人部署在 30 次试验中成功率为 70.0%,包含有界搜索报告。该研究通过结合目标规划、证据记忆与事件触发验证,展示了在部分证据下维持目标并适应执行失败的能力。

  29. arXiv · 机器人与计算机视觉48

    HEmIF-Bench:超越虚拟染色保真的 H&E-to-mIF 模型基准评测

    HEmIF-Bench 基准评测显示,MIPHEI-ViT 在五项病理任务中领先但内部特征优于生成输出,且未超越 UNI2。该基准解耦编码器与生成结果,涵盖分子至患者尺度八数据集,验证像素保真度不等于下游效用。研究指出当前配对数据规模下的生成模型尚未超越大规模纯 H&E 基础模型,需更大规模数据突破。

  30. arXiv · 机器人与计算机视觉78

    DiffWAM:从连续视觉差异中学习世界动作模型

    论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。

    推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。

  31. arXiv · 机器人与计算机视觉74

    Remember, Replay, Adapt:基于过往经验的在线视觉语言导航学习

    现有基于反馈的在线视觉语言导航方法主要依赖当前回合结果,未充分利用既往反馈。受人类情景记忆启发,本文提出 R2A 框架,通过成功 - 失败记忆模块保留并检索历史经验,结合先验锚定适应机制强化成功轨迹、抑制失败路径以稳定策略更新。实验在 REVERIE、R2R 和 R2R-CE 三个基准及五个导航骨干网络上验证,在 REVERIE 未见测试集上显著提升了 DUET 模型的 SR 与 SPL 指标。

  32. arXiv · 机器人与计算机视觉58

    EasyNav:面向异构环境的实时导航模块化架构

    该论文提出 EasyNav 架构,通过显式共享导航状态解耦映射、定位、规划与控制模块,实现表示无关的流水线替换。作为开源 ROS 2 框架,其在室内激光感知和室外 GPS+3D LiDAR 多楼层场景的真实机器人实验中,相比 Nav2 将反应延迟从 377ms 降至 33ms(室内)及 8ms(室外),并降低了 CPU 与内存占用。

  33. arXiv · 机器人与计算机视觉44

    光谱波段归因的“可解释性幻觉”:卫星时序作物分类中的合理性检查

    GradientSHAP、Shapley 采样和遮挡法在基于 Sentinel-2 时序的 U-TAE 模型上均识别出符合领域知识的植被敏感区,但重训练实验显示这些归因排名无法可靠预测性能提升。重新使用最低排名波段训练的模型表现相当或更优,且独立模型得出的前五位波段子集能带来更好效果。研究揭示了光谱冗余输入空间中,看似可信的归因排名未必对应任务相关波段,警示了波段级特征归因在有效性验证上的局限。