面向准确无人机图像感知的研究:利用更强任务提示引导视觉语言模型
针对无人机图像感知中目标密集、背景杂乱且简短提示指导不足的问题,本文提出无需微调的代理框架 AerialVP。该方法通过基于大模型的 Task Engine 动态分析原提示特异性,选择性融合图像语义、空间位置及物体关系等线索以增强提示,从而利用视觉语言模型预训练的对齐与推理能力降低目标歧义。
针对无人机图像感知中目标密集、背景杂乱且简短提示指导不足的问题,本文提出无需微调的代理框架 AerialVP。该方法通过基于大模型的 Task Engine 动态分析原提示特异性,选择性融合图像语义、空间位置及物体关系等线索以增强提示,从而利用视觉语言模型预训练的对齐与推理能力降低目标歧义。
该方法利用多层对比损失检测图像情感概念,结合情感属性引导大语言模型生成描述句以弥合“情感鸿沟”。针对情感数据集类内差异大、类间差异小的问题,引入基于语义相似性的采样策略优化预训练语言模型。实验表明,该方案在多个基准测试中有效处理含嵌入文本的图像,实现了具有竞争力的分类性能。
LENS 是一种专为多模态大语言模型(MLLM)设计的即插即用范式,通过冻结主模型并附加轻量级头部来提取注意力图关键点以实现像素级分割。实验表明该方法在保持与重训练方法相当的分割性能同时,有效避免了通用能力的灾难性遗忘。该成果已发表于《国际计算机视觉杂志》(IJCV),相关代码与论文版本 v2 可通过 arXiv 获取。
针对 4D 高斯泼溅(Gaussian Splatting)存储开销大的问题,本文提出 OMG4 框架。该方法通过高斯采样、剪枝和合并三阶段逐步减少冗余,并集成隐式外观压缩与扩展的亚向量量化方案,在标准基准数据集上实现模型体积缩减超 60% 同时保持重建质量。源代码已公开。
该论文针对扩散模型无意识复现训练数据的问题,建立了文本到图像潜在扩散模型(含分类器自由引导)的数学解释框架。研究通过追踪去噪步骤中的预测差异,证明在低损失条件下,带提示词的预测能以高概率复现配对训练潜变量;同时量化了引导机制如何放大该偏差及潜变量间的提示影响传递。最终统一解释了现有的检测与缓解策略。材料为 arXiv 预印本版本,未提及同行评审状态或具体实验部署结果。
推荐理由:本文从数学角度统一解释了文本到图像潜在扩散模型在去噪过程中如何复现训练数据,为检测与缓解策略提供理论依据。
arXiv 发布了一项关于 SAGES Critical View of Safety (CVS) Challenge 的研究论文,这是首个由外科协会组织的 AI 竞赛,旨在通过腹腔镜胆囊切除术中的 CVS 步骤建立手术质量评估标准。
推荐理由:该工作发布了首个由外科协会组织的 AI 手术质量评估基准,提供了包含千小时视频的多标注数据集及 EndoGlacier 管理框架。
MedGS 是一个基于高斯泼溅(Gaussian Splatting)的框架,旨在解决超声、MRI 和 CT 等多模态 3D 医学影像中的表面重建与帧间插值难题。
该系统基于 Face2PPG 管道与 FRP-Actor 混合模型,在双电脑环境下实现 30 FPS 连续运行并提取心率、呼吸率及血氧饱和度。研究在 COHFACE、LGI-PPGI、UBFC-RPPG 等四个公开数据集上评估了性能,并在五场各 10 分钟的现场测试中验证了与医用指夹式脉搏血氧仪的一致性。代码已开源,系统旨在解决资源受限平台上的可扩展性与互操作性挑战。
本文发布了 COSMO-Bench,包含 24 个源自真实 LiDAR 数据和基础 C-SLAM 前端的数据集,旨在填补多机器人协同定位与建图领域缺乏标准评测数据的空白。该工作已获 IEEE ICRA 会议接收,提供了用于分布式优化算法研究的标准基准。
该方法利用频域表示与扩散知识,通过 FFAB-IC 网络及迭代扩散细化提升低码率下的纹理重建保真度。实验表明其在相当失真下实现了优于现有方法的真实感平衡。论文为 arXiv 预印本(arXiv:2503.11321),代码与数据许可状态未明确说明。
CSSL 提出一种针对医学图像分割的对比半监督方法,通过类级采样、混合难负样本的监督对比损失及基于轮廓系数的特征扰动一致性损失提升性能。在 MoNuSeg(50% 标注)和 CHAOS T2(25% 标注)数据集上,该方法分别达到 80.87±0.17 的核 F1 分数与 89.01 的 Dice 系数,显著优于 Self-Loop、DAFNet 及基线配方。
Neural Render Proxies 通过解耦路径采样与发射计算,在固定相机和材质下为静态场景提供约 30-60 Hz 的交互式重渲染速率。该方法兼容非可微生产渲染器且推理内存需求极低,能逼近真实路径追踪的视觉保真度并支持基于梯度的逆向工作流。论文已被 EGSR 2026 接收,代码与数据许可状态待定。
该研究提出基于 Transformer 的 4D 分割框架,融合时空信息以区分物理变化与分割误差。在矿物溶解数据集上,该方法比忽略时序信息的等效 3D 模型更准确地测量孔隙体积增长和岩石边界,且无需逐图调整参数即可将数百张三维图像转化为可靠的量化数据。
该论文提出了一类定义在扩展特殊欧几里得群 SE_n(3) 上的贝叶斯共轭分布,通过限制矩阵高斯分布来避免局部坐标奇点。该方法支持对广泛采样分布的精确闭式贝叶斯推断,并推导了最大化概率与最小化均方误差的最优估计量。
该工作提出一种新的数据集蒸馏方法,通过在特征提取器的潜在空间中使合成样本同时向真实数据靠近且彼此分离(即“漂移”),从而在不依赖分类器优化的情况下更好地逼近每类数据的真实分布。实验表明该方法生成的样本在覆盖真实分布方面优于现有方法,仍可作为强大的分类训练样本,并可扩展至多模态场景及作为模型可视化工具。材料为 NeurIPS 2026 接收的论文预印本,未报告真实机器人部署结果或具体产品发布。
论文指出在多模态表示学习中,单纯的对齐目标会在信息不对称场景下丢失私有结构与跨模态协同效应。为此提出分解 JEPA(D-JEPA),将潜在变量分解为对齐共享核心与恢复被丢弃信息的私有特征纤维。实验表明该方法避免了组合推理基准上的语义坍塌,恢复了正的多模态协同差距,并在下游任务上大幅提升了准确率。
Bo Han 提出一种两通道受限 GRPO 方法,通过将安全定义为有害协助与过度拒绝的预算率并修复梯度抵消问题,使 Qwen3-VL-2B 在对抗提示下的有害响应从 8.9% 降至 4.8%,同时保持良性查询的低误拒率和基准测试表现。
该研究对比了交互艺术与人类轨迹预测算法,指出尽管模型定量性能提升,但算法中对人类行为、思维及社会互动的考量呈递减趋势。作者通过感知、互动与时效三个维度,探讨艺术直觉如何关联 AI 算法,并发现部分受艺术启发的算法能从数据中推导出有趣的人类行为模式。
Robo-SWE 数据集包含从 28 个公开机器人仓库挖掘的 236 个可执行任务,涵盖 ROS 2、仿真引擎及学习框架领域。五组编码智能体在离线运行中解决率介于 43.9%(Kimi K3.1 Pro)至 56.5%(Claude Opus 5.5),并附带完整的修复补丁与轨迹数据。该数据集已上线公共排行榜,旨在推动针对机器人领域特定系统的代码代理评估研究。
Scalable Inverse Model (SIM) 框架通过协同设计物理仿真训练数据与模型架构,在涵盖七个国际中心、五种厂商及 0.3-7 T 磁场的 14 个数据集上实现了鲁棒的零样本 MRI 重建。该方案在包含 150 次扫描的盲测放射科研究中恢复了精细解剖细节并抑制了常规深度学习方法失效处的混叠伪影,且无需额外采集数据即可泛化至未见过的扫描仪与协议。
针对现有遥感智能体依赖预定义知识或参数更新的问题,本文提出 SkillEarth 方法,能够从演示轨迹中自动提取可复用的工具调用知识并实现观测驱动的演化。该方法结合双裁判反馈与基于观测的路由图进行组件级精细化,在 OpenEarth-Bench 和 Earth-Bench 上展现了优于现有方法的工具选择、参数正确性、执行顺序一致性和任务完成率,且支持跨大模型复用而无需重新训练。
AROMA 是一种冻结 VLM 的控制框架,通过分离干预位置、几何增益及目标选择等维度解决因果敏感性与激活能量不匹配问题。在 Llama-3.2-11B-Vision-Instruct 上,该方法将未触碰过程数据的精确计数准确率提升 8.00 个百分点,迭代最小努力动作(MEA)达成率从冻结策略的 34.444% 提升至 38.730%。
该研究审计了 MedGemma-4B、Lingshu-7B、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B 和 MedVLM-R1 等五款开源医疗 VLM,在包含 6,048 个问题的 ChestX-ray14 数据集上发现,尽管模型能流利描述气胸体征,但在 432 张阳性 X 光片中零检出或仅部分检出。
推荐理由:审计显示五款医疗 VLM 在气胸检测上存在严重诊断特异性失效,内部表征正常但输出被抑制,仅靠聚合准确率无法评估真实能力。
论文提出 Poison-then-Hide 方法,通过在预训练编码器中植入潜伏后门并在后续微调时激活,实现高达 97% 的攻击成功率。该方法包含触发器优化、基础编码器中毒和目标遗忘三个组件,能在全模型微调的域转移场景下保持有效。研究发现联合学习良性任务对攻击成功至关重要,且标准检测与缓解防御无法完全移除该后门,其在良性微调后可能重现。
论文提出 LoopMR,利用循环 Transformer 架构复用单个 Restormer 块进行迭代重建,解决了共享权重模型效果不佳的问题。
该研究通过跨 6 个模型家族的 10 种多模态配置进行因果消融,对比了邀请心理场景构建的空间意象任务与仅靠符号规则可解的符号操作任务。在 Chameleon-7B 中,消融视觉语言轴投影导致 BIG-Bench Hard 导航任务准确率下降 27.6 个百分点,而布尔表达式保持完整并提升 5.6 个百分点,形成 33.2 个百分点的双离解效应。
该论文提出 PixVid 方法,通过将预训练的 Wan2.1-14B 潜空间视频扩散模型的 VAE 解码器替换为卷积头,使其直接在像素空间生成每一帧。该方法预测干净视频而非速度场,并配合更大的噪声偏移以提升质量。在约 130 万训练片段上微调后,PixVid 与潜空间基线保持竞争力,支持两倍分辨率下的相同每帧 token 数,并在快速运动下保持深度条件编辑的对齐性,且能逐帧响应动作。
该论文提出了一种受控框架,在统一数据和计算预算下对比了不同视觉编码策略。研究发现,联合训练的专用视觉容量比预训练先验更有效,且无需前置融合即可达到同等性能甚至降低首字延迟。结果支持将专用视觉容量与主干网络联合训练并置于早期的架构设计。
本文提出 Test-Time Baking (TTB) 策略,旨在解决解码器仅大型视图合成模型(LVSMs)在保持高质量的同时提升渲染效率的问题。该方法利用轻量级多层感知机(MLP)显式学习跨视图注意力映射,而非完全替换注意力机制,从而在保证与最先进方法同等质量的前提下实现高达 23 倍的渲染加速速度。
针对无人机视觉语言导航(VLN)中因三维运动预测误差导致碰撞的挑战,作者提出 ProtoVis-Nav 框架。该方法迫使模型为预期的下一个动作想象与结果关联的局部视觉表征,通过预测特征原型及其线性组合来估计目标区域的视觉特征,从而促进视觉上下文与航点输出的对齐。实验表明该框架在现有基线上取得了显著改进。
针对视频扩散模型存在的显著物理错误问题,本文提出 K2V 框架,将物理推理任务分配给语言模型驱动的关键帧生成模块,使扩散模型专注于在物理正确的中间状态间进行插值。该方法在 Physics-IQ Verified 基准和 PhyGenBench 上取得了最先进的性能。
BrickFlow 针对给定零件与组装图像推断部件姿态的任务,提出结合分析连通性场引导的 SE(3) 流模型以解决离散物理约束难题。该研究仅用 1% 数据微调注入图像条件,在 NeurIPS 2026 预印本中展示了提升构建质量的实验结果。相关模型与数据已面向科研目的公开提供。
arXiv 预印本介绍 Spatial Foundry 数据集,包含 5,280 个带家具的住宅 3D 场景配置及对齐的视觉、几何与时间数据。模态涵盖平面图、RGB、深度、点云、网格及实例级 3D 边界框等,支持空间感知与世界模型研究。
FLEX-LBP 模型通过学习半径、采样角度等参数,在保持精确二进制编码与直方图统计的同时,将最近邻平均准确率提升 3.55 个点。该模型在六个颜色纹理基准测试中优于五种经典描述符及冻结的 ImageNet ResNet-50 特征,且在结肠癌组织学基准上达到 93.8% 的准确率。代码已作为 PyTorch 层开源,部署推理成本不变且具备可解释性。
vid2vid-long 提出基于帧间显式对应的视频生成方法,利用输入视频的匹配区域引导检索并指导模型条件,解决了固定因果窗口限制长程一致性的问题。实验表明该方法在保持生成质量与实时性能的同时,显著提升了近期视频模型的长程时间一致性。该工作为 ECCV 2026 预印本,代码与项目网站待公开。
该预印本论文研究了预训练 Vision Transformer 如何内在实现物体绑定能力。研究发现在八个预训练模型中,实例分离主要体现于注意力路由而非 token 内容;同一物体的不同部分共享特定的‘注意力地址’(查询组件指向的图像区域),而相同类别的不同个体则获得可移动的独立地址。编辑该查询组件即可重定向注意力地址以区分个体。
该研究提出基于 MALNISI 指标构建加权邻接矩阵的图神经网络,通过增强多头注意力机制及残差连接提升高光谱图像表征能力。实验在六个基准数据集上验证了该方法优于十四种最先进方法的有效性。论文为 arXiv 预印本(arXiv:2611.17199),代码与数据许可状态未明确说明。
论文提出 eDMD(Endpoint Distribution Matching Distillation)方法,旨在优化将扩散模型蒸馏为少步生成器的过程。该方法通过仅在学生模型的最终输出上训练单一共享的辅助假分数模型,并引入精确教师监督机制,确保分布匹配项仅在学生最终输出与教师一致时消失,从而避免中间状态干扰。
针对悬停无人机视频稳定中的“共识捕获”现象,研究在繁忙路口等动态城市场景建立了包含静态与动态协议的基准。评测显示未掩蔽 ORB 算法在实时动态对中成功捕获 28/304 对,中位角点误差为 18.8 px,且掩码操作可消除该效应而不影响领先管线性能。代码、数据及结果已公开,包含 50 页论文、17 张图与 24 个表格。
该方法利用标注验证数据,通过提示词选择而非微调提升冻结参数视觉语言模型在差分变形攻击检测中的性能。实验显示,版本 1 选出的提示词将 LMA、MIPGAN-2 和 PIPE 数据集上的变形攻击分类错误率(MACER)降至 19.17%,且真实样本错误率为 0.00%。研究证实提示词构建显著影响冻结参数 VLM 性能,但递归优化在仅含 10 个受试者的验证设置下未超越最佳初始损失效果。