面向人机共存的无人机轻量级 LLM 推理导航方法
针对传统感知规划栈将行人、车辆和墙壁等同处理的缺陷,该研究提出一种模块化全机载管道,利用共享 BLIP 编码器生成场景描述与分割,结合深度信息在三维空间定位障碍物。
推荐理由:该工作提出在 Jetson Orin NX 上运行的轻量化 LLM 导航方案,通过缓存推理与检索增强实现人感知的安全避障。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
针对传统感知规划栈将行人、车辆和墙壁等同处理的缺陷,该研究提出一种模块化全机载管道,利用共享 BLIP 编码器生成场景描述与分割,结合深度信息在三维空间定位障碍物。
推荐理由:该工作提出在 Jetson Orin NX 上运行的轻量化 LLM 导航方案,通过缓存推理与检索增强实现人感知的安全避障。
全切片图像可能包含共存的病灶,但弱监督通常仅提供最严重的诊断。本文将其建模为主导标签多重实例学习问题,提出 DomSet-MIL 框架以对齐包与实例层面的标注机制。
推荐理由:提出 DomSet-MIL 框架,在主导标签监督下恢复共存的次要病灶证据。
论文指出世界模型规划器在部署时面临计划轨迹与实际执行不一致的问题,直接替换预测轨迹效果有限。作者提出 ExecutionBridge 方法,通过推断控制器特定的执行特征来适配原生自我潜变量展开,同时保持原计划轨迹和冻结的规划器、世界模型及奖励头不变。该方法在 NAVSIM 基准上对未见过的控制器配置和多款冻结规划器均能提升规划性能,尤其在驾驶场景复杂时增益显著。
推荐理由:针对冻结的世界模型规划器与控制器执行偏差问题,提出 ExecutionBridge 方法以适配执行特征。
针对动态环境中行人遮挡导致的目标丢失问题,本文提出 VP-EVT 框架,将目标可见性作为显式运动控制目标而非跟随副产品。该方法利用语言引导感知分离目标与行人观测,结合视觉历史与本征运动维持相对位置估计,并通过循环控制器协调视角调整以恢复稳定跟踪。
推荐理由:提出 VP-EVT 框架将可见性作为显式运动控制目标,在 occlusion 场景下显著降低丢失时长并提升成功率。
针对低光照环境下的噪声、伪影和结构丢失问题,该工作提出了 VesperMUSE 统一多模态框架。架构通过物理感知的合成低光适应算法、热引导的低光增强范式以及多模态融合策略,动态整合 RGB 特征与辅助的热成像及表面法线图。
推荐理由:提出融合 RGB 与热成像及法线图的统一框架,在低光照下恢复语义分割性能。
该研究提出 VeriVLA,旨在解决基于噪声的 VLA 策略在测试阶段无法评估样本质量的问题。该方法采用无需训练的触发机制,利用两个初始样本测量时间变异性和跨样本方差以检测关键状态;一旦触发,便使用 JEPA 架构的潜在世界模型预测动作条件化的未来潜在状态及任务进度变化,从而对候选动作块进行排序。
推荐理由:该方法在无需训练的情况下,利用潜在世界模型对基于流的 VLA 策略进行测试时验证,将笔插入等三项真实任务的平均完成度从 50.8% 提升至 65.5%,并在仿真环境中实现稳定增益。
针对句子级图文对齐在组合式匹配中不足的局限,论文提出 Flow-CLIP 模型。该方法通过图像条件化的 token-patch 证据变化细化全局图文对齐,引入全局兼容性校准(GCC)学习句子级相似度指标,利用图像条件化证据细化(ICER)将视觉 patch 上下文融入 token 查询以调整局部匹配证据,并采用跨图像边距排序(CIMR)增强正确描述与错误描述的区分度。
推荐理由:提出 Flow-CLIP,通过图像条件化残差评分优化组合式图文匹配与属性绑定。
针对语言引导的 3D 功能区域定位中现有方法对未见对象泛化性差的问题,本文提出 BridgeAfford 框架以缓解查询特征与目标区域特征的语义差异。该方法通过交互区域对齐促进几何相似区域的跨对象表示学习,并利用视觉证据聚合细化注意力分布以引导查询至正确区域。实验表明该框架在 LASO 和 PIAD 数据集上优于现有方法,尤其在对未见对象的泛化性能方面表现突出。
推荐理由:提出 BridgeAfford 框架,通过交互区域对齐与视觉证据聚合缓解查询 - 目标语义差距,在 LASO 和 PIAD 数据集上展现对未见对象的强泛化能力。
论文提出一种统一的 VLA 框架,通过样本级路由将训练数据分配给动作预测、基于 LAPA 的潜在动作预测或基于 DINOv3/V-JEPA/Wan2.2 的未来视觉预测。实验显示,在 LIBERO、CALVIN 及真实机器人任务中,合理的辅助监督目标组合优于仅动作预测,且未来视觉目标通常表现更佳。
推荐理由:该研究提出统一框架,证明在固定预算下分配部分样本给潜在动作或未来视觉预测优于仅动作预测。
针对现有 ROS 2 架构在切换时引入延迟并中断执行的问题,作者提出一种开源的亚毫秒级反射引擎。该框架基于增强的 ROS 2 兼容多模式控制器,通过无锁指针操作消除运行时中间件开销,实现了低于 0.1 ms 的控制模态切换延迟。
推荐理由:开源框架实现亚毫秒级控制切换,消除运行时中间件开销,为连续人机交互提供确定性低延迟方案。
论文指出 MLLM 的语言先验会覆盖视觉证据导致感知受损,现有基准存在局限。作者提出 ViSiP-Bench 基准和 MAPS 方法,通过动态诱导协议和微调策略来更精准地测量并降低模型对语言先验的过度依赖。
推荐理由:提出 ViSiP-Bench 基准与 MAPS 方法,揭示大模型语言先验干扰问题并提供缓解方案。
论文提出 SurgStreamer 系统,将手术视频流的感知(映射工具、动作与阶段)与通用推理(评估监控条件)分离。系统在预注册的胆囊切除术测试集上达到0.598的宏观事件-F1,优于仅微调 OneStreamer-4B 的配置。研究指出感知层在分布偏移下是主要限制,并验证了控制器权重在新手术类型上的泛化能力。
推荐理由:提出将手术视频感知与推理分离的架构,在胆囊切除术数据集上达到0.598宏观事件F1,验证了该设计在分布偏移下的鲁棒性。
论文介绍 STRUCTPARTS 框架,通过双帧坐标交错机制复用整体先验的几何细节与结构连贯性,在部件分解生成中同时保持局部细节和全局一致性。输入为分割网格骨架,仅需轻量微调即可从预训练权重中提取能力,并在 PartObjaverse-Tiny 数据集上表现优异。材料为 NeurIPS 2026 投稿的 arXiv 预印本,未提及开源代码或真实机器人部署结果。
推荐理由:该工作提出利用整体先验实现部件分解生成的框架,在少量微调下兼顾局部细节与全局结构。
论文提出了 DINO-FIL,这是一个基于 Transformer 的框架,旨在进行像素级的生成式图像伪造定位。该方法利用预训练的 DINOv3 ViT-H+/16 编码器的多层表示,结合轻量级融合解码器,以捕捉语义结构和细粒度纹理不一致性。
推荐理由:提出基于 DINOv3 的多层特征融合框架,在跨数据集设置下实现了对生成式图像伪造的高精度像素级定位。
论文介绍 PaRMA 审计框架与 FusionAudit 工具集,针对视觉语言模型从冻结编码器向原生架构过渡时的复杂性,定义像素扰动和渲染文本插入两类干预下的路径条件风险。
推荐理由:提出基于路径的鲁棒性审计框架,揭示原生多模态模型在像素扰动与渲染文本插入下的新脆弱点。
本文发布了 Digital Typhoon Dataset V3,这是跨度近 50 年的最长台风卫星图像数据集的新版本,新增多光谱数据以支持多通道模型。研究评测了数据划分策略及南北半球基准结果,发现当前设置下多通道输入并未显著优于单通道输入用于气压回归;ResNet-18、全分辨率图像和 Channel 1 在单通道任务中表现最佳。
推荐理由:本文发布台风数据集 V3 并评测多光谱输入对气压回归的增益有限,同时揭示强台风强度低估的系统性偏差及现有加权策略的不足。
论文应用机制可解释性方法,在 ViT-Base 16 模型中定位到一个专门读取注释文本而非肺病理的单一注意力头(L8H10)。因果验证证实该行为由标注内容驱动,移除后肺部注意力增加。该现象在 NIH ChestX-ray14、DeiT-Base 和 ViT-Large 16 三个架构上复现。全量微调无法抑制该偏差甚至可能强化它,且单头消融显示输出级评估完全无法察觉此因果电路。
推荐理由:通过机制可解释性发现 ViT 模型在医疗影像中利用注释文本而非病灶进行推理的虚假注意力头,且该偏差无法通过微调消除。
针对视觉语言模型(VLM)在机器人操作中推理成本高且易回避困难比较的问题,提出 SPEAR 框架将其转化为高效偏好预言机。该框架通过可区分性感知查询选择降低回避率,并利用自适应奖励过渡结合 VLM 合成引导加速探索。
推荐理由:提出 SPEAR 框架,通过可区分性查询选择与自适应奖励机制提升 VLM 在机器人操作中的效率。
针对蒸馏后的视觉 - 语言特征在部署时难以可靠定位用户指定目标的问题,本文提出一种无需训练的优化方案。该方法利用文本提示分割器,将检测到的目标区域内的视觉嵌入与目标文本嵌入进行凸组合注入,并通过闭式解确定最优系数以避免覆盖外观线索或破坏通用查询性。
推荐理由:该方法无需训练即可提升蒸馏语言地图对特定目标的定位能力,同时保持开放词汇查询性,并在机器人导航演示中验证了有效性。
论文介绍 AVALON 框架,解决服务机器人进入用户熟悉但机器人未见的未测绘建筑问题。系统通过人类播撒的分层空间记忆、节点验证的拓扑执行及任务触发的人机记忆协同更新实现导航。
推荐理由:提出基于人类播撒分层空间记忆的拓扑导航框架,在无需现场建图条件下完成室内任务,实验显示比基线节省大量时间。