TP-JSCC:面向云端边缘协作的 LVLM 基 3D-VQA 高效令牌剪枝与联合信源信道编码
针对资源受限具身智能体部署大视觉语言模型进行 3D 视觉问答时的带宽限制与传输失真问题,作者提出 TP-JSCC 方法。
针对资源受限具身智能体部署大视觉语言模型进行 3D 视觉问答时的带宽限制与传输失真问题,作者提出 TP-JSCC 方法。
该论文分析了 NeuroNCAP 基准上 DiffusionDrive 等模型的碰撞主要由规划失败导致,并提出一种针对特定规划器的模型感知框架。该方法利用从规划头蒸馏的可微分代理在鸟瞰图层面发起攻击,自动生成安全关键场景及逃逸轨迹用于微调,无需昂贵的视频渲染器参与攻击循环。
论文提出 GIFT(Geometric-Invariance Fine-Tuning)方法,旨在解决单域泛化目标检测中的分布偏移问题。该方法通过引入可学习的 Householder 反射保持预训练表示的几何结构,并辅以通道缩放实现任务适配。
DiffTR 是一个无监督框架,通过坐标条件化扩散统一了张量补全、去噪与高光谱超分辨率任务。该架构分离表示学习与观测建模,支持标量及向量输出以适配表格、图像和视频等多种模态。实验在多模态张量恢复任务中展现了具有竞争力的重建质量与统一生成表示的灵活性。
针对仅依赖聚合重叠分数选型的局限,研究在六个公开数据集共 244 张图像上评估了 FSG-Net、SA-UNetv2、DCP-1024、GAVE 和 FR-UNet 五种分割流程。
Targeted Deep Regression 方法利用基于图像的回归技术,从英国生物样本库收集的颈至膝部水脂 MRI 数据中估算肾脏体积、心脏体积和年龄。该方法将 ResNet50 风格网络应用于代表特定解剖亚区域的 2D 多通道拼贴图,实现了 R²=0.731-0.984 的预测性能并突出了医学相关区域。研究结论表明该技术可标准化深度回归分析流程,提高信息密度并为未来医学推理研究开辟新路径。
针对室内场景中现有方法局限于预定义类别的问题,本文提出 OVM-Occ 框架,利用嵌入语言的三维高斯作为中间场景表示,并通过几何感知的可变形注意力模块与实例级视觉语言嵌入提供可靠监督。
该论文提出了 Thermal-Headroom Routing (THR),一种利用闭合形式 RC 热模型预测处理器温度并排除可能触发降频的检测器配置的策略。
arXiv 预印本介绍了一种名为 LARVA 的框架,旨在将多轮视频智能体的能力蒸馏到更小模型中。该框架通过让观测器传递紧凑的连续表示给推理器(而非仅用文本描述),并辅以观测重建和分布对齐的监督信号,使模型能同时学习如何表征证据以及如何行动。
针对开放视觉语言模型在科学图表问答中准确率低的痛点,研究在不改变冻结模型的前提下,利用自主进化方法搜索并优化推理程序代码。实验在三款 VLM 及四个基准测试上显示,描述性问题的精确匹配率从初始程序的 16.6% 提升至进化后的 41.3%,最大增幅达 55.2 个百分点。此外,进化后的程序因生成短答案更易评分,推理速度比初始程序快 3.8 倍。
论文提出 LOCUS 框架,利用回归头作为推测器生成坐标 token,并通过共享骨干网络进行 Jacobi 迭代验证,将平均解码步数从 18.46 降至约 5.60。在 RefCOCO、RefCOCO+ 和 RefCOCOg 数据集上,该方法使 Locus-2B 的 [email protected] 从 54.87% 提升至 59.13%,且在参数不超过 3B 的模型中优于 Florence-2-L。
该研究提出融合 Swin Transformer、时序编码器及 YOLOv11s 的框架,在 Cholec80 数据集上实现 92% 的阶段识别准确率与 0.863 的器械检测 [email protected]。模型通过因果平滑消除阶段闪烁,性能优于 EndoNet、SV-RCNet 等基线方法,代码将公开以支持智能手术室应用。
Fed-MAPTrack 提出了一种针对 RGB-热成像/事件/深度多模态跟踪的联邦学习框架,通过冻结主干网络并仅交换提示参数来解决传感器异构性导致的域不匹配问题。
该论文针对手术器械增量分割中因数据不平衡导致的灾难性遗忘和偏差问题,提出了 SurgCSS 框架。该方法通过生成背景、类感知融合及对比学习损失来平衡分布并修正边缘偏差,同时动态融合新旧模型权重以优化性能。作者构建了新的基准数据集并进行实验验证,结果显示该框架在现有基线基础上有显著改进。
推荐理由:针对手术器械增量分割中的数据不平衡问题,提出 SurgCSS 框架与基准。
DiffAuction 提出融合可控生成、点击意图评估与拍卖设计的框架,通过无训练残差份额校准和份额条件提示优化多广告主曝光竞争。系统利用 VLM 提取视觉证据及 LLM 评估产品显著性等四维度点击意图,经千张图像标注验证有效。基于可学习仿射最大化拍卖机制的实验显示,该方法强化了目标份额与点击意图的单调关系并提升了平台收益。
针对视觉语言模型免梯度少样本适配中仅利用最终投影表示而忽略中间层的问题,本文提出 Layer-Ensemble Gaussian Discriminant Analysis (LE-GDA)。
LayoutMamba 提出一种结合稀疏注意力 Transformer 与 Mamba 状态空间机制的混合框架,在 PubLayNet 数据集上以少 8 倍参数超越最先进方法并维持 D4LA 前 3 性能。该方法通过几何重叠惩罚损失(GOPLoss)缓解基准分布偏差,专为资源受限的边缘计算场景设计,论文代码与权重待开放许可。
CoDeRNet 提出一种统一框架,通过置信度分解路由机制在 LEVIR-MCI 和 WHU-CDC 数据集上实现强整体性能。该方法在提升描述生成的同时保持有竞争力的区域定位,验证了异构监督下条件信息转移对联合建模的重要性。论文已被 NeurIPS 2026 接收,代码与数据许可状态待定。
针对智能手机双摄变焦时几何透视和色彩渲染出现明显不连续的问题,作者提出双摄平滑变焦(DCSZ)任务并构建 ZoomGS v2 数据合成框架,将几何与色彩变换从 3D 场景表示中解耦以生成高保真训练序列。
论文提出 CanDO 方法,针对无法获取权重或梯度的黑盒点云模型,利用免导数优化搜索输入变换以最大化模型置信度,从而在测试时应对分布外旋转。实验表明,该方法在方位角误定向下恢复了 76% 的预言机差距,任意 SO(3) 旋转下恢复 51%,证明冻结模型可通过部署后校正从旋转诱导的分布偏移中恢复。
针对预训练视觉语言模型在适应新类别时缺乏有效语义锚点的问题,本文提出 SynerNet 框架。该方法学习特定于概念的名称嵌入,将其暴露于兼容的语言上下文并基于视觉证据进行条件化表示,同时保留预训练骨干网络。
研究揭示深度神经网络依赖的非鲁棒特征可充当天然干扰器,在清洁图像上误导标准模型。通过光谱 - 空间锁定机制及替换悖论分析,发现高频分量与特定空间结构对齐是干扰产生的唯一条件。光谱滤波或微小几何位移即可恢复正确预测,且整体干扰率在变换下保持稳定而非消除。
ToDoPro 针对多参考图像生成中的 Token 爆炸问题,提出一种无需额外参数且兼容现有模型的加速方案。该方法通过在空间上 2 倍下采样的参考图像执行少量去噪步骤进行廉价探测,利用模型自身提取参考 Token 的重要性,随后在主要去噪阶段前分层削减低重要性 Token、替换中重要性 Token 并保留高重要性 Token。
论文提出 FG-CPAB,通过分离积分过程与参数空间投影来解决连续分段仿射变换优化中轨迹积分与梯度计算耦合的问题。该方法将梯度计算复杂度从 O(dTN) 降低至 O(TN+dC),在二维场景下实现约 10^4 倍的加速和约 500 倍的显存峰值减少,首次使细粒度 tessellation 的 CPAB 在二维和三维中变得实用。该工作已被 NeurIPS 2026 接收。
RSKD 是一种针对自动驾驶视觉语言模型(VLM)的语义一致性引导蒸馏框架,旨在解决传统均匀 token 级匹配稀释规划相关语义及放大教师错误的问题。该方法根据答案短语的任务重要度及其与教师预测的语义一致性路由监督信号,仅在语义一致处强调教师信息,而在不一致处加强真实标签监督。
针对仅用文本信息选择视觉语言模型(VLM)的评估协议,研究指出排名指标无法直接反映选定模型性能。新方法 Target-Conditioned Expected Source Regret (TC-ESR) 在 22 个目标任务和 43 个 VLM 上实现了最低的均后悔值与异常鲁棒归一化后悔值。此外,研究修正了先前协议中导致目标性能泄露的两个来源。
该论文通过理论证明与跨七个医疗数据集的实验表明,在少样本和全样本设置下,视觉语言异常检测器的性能仅取决于提示词向量的有效尺度(scale)和排列方式,而非其语义内容。研究证实,只要保持锚点向量差值的长度一致,替换文本不会改变概率图;打破尺度匹配会引入性能差距,而恢复该尺度即可消除差距,无需依赖具体文本含义。
推荐理由:研究证明少样本与全样本异常检测器仅读取提示词的尺度与排列,而非语义内容。
FlexiMIND 提出一种无需训练和标签的两阶段框架,利用冻结的 FlexiCT-2D 编码器建立对应关系并由 MIND-SSC 在 ConvexAdam 内细化形变。
Recursive CLIP 通过复用少量 Transformer 块构建递归骨干网络,在保持 ViT-B/16 教师模型计算深度的同时提升参数效率。该研究基于 CC3M 和 CC12M 数据集进行知识蒸馏,并在零样本分类、跨模态检索及少样本学习等任务中验证了其在视觉语言模型中的可行性与适应性。
针对医疗视觉问答(VQA)数据稀缺且缺乏推理标注的问题,本文提出 GRASP 方法,将强化学习与监督微调结合于每次更新中,利用 RL 探索模型自身推理并由 SFT 提供金标准答案进行直接监督。该方法仅微调约 1% 参数,在 Qwen3-VL-8B、InternVL3-8B 和 Gemma 3-4B 等模型上均优于对比基线。论文开源了包含 12.9K 短答案问题的 MedTerse 数据集及代码。
推荐理由:提出 GRASP 方法,结合 RL 探索与 SFT 监督解决医疗 VQA 数据稀缺且无推理标注的难题。
作者 Isaac Li 提出 VTC-AUDIT 框架,在三个开源 8-9B 视觉语言模型上评估了 DivPrune 和 ApET 两种无训练压缩器。
TRPE 模型通过分布外检测器与半径自适应 DBSCAN,在无先验知识下识别新任务并推断类别数量。该方法利用全局任务相关性筛选关键提示对,结合软正交约束平衡新旧任务学习,在多样数据集与骨干网络上验证了有效性。论文已接受发表于 TPAMI,代码与权重开放许可状态待定。
CrossPair 将预训练多模态图像编辑器适配为从单一示例对迁移多样化变换,利用 DINOv3 目标对齐特征变化方向。该方法在 Relation252K 衍生任务上优于已发布系统,且无需推理时编码器即可遵循演示关系。
该论文针对训练空间视觉语言模型时出现的‘接口锁定’现象,提出 ChronoReplay 方法。该方法通过将异质空间监督以时间顺序回放、保留原生目标并平衡不同类别的监督,在相同观测访问下同时提升了 OVO-S-Bench、OST-Bench 和 UCS-Bench 三项基准的性能,其中 OST-Bench 提升 13.41 分。
推荐理由:提出 ChronoReplay 方法解决空间 VLM 的接口锁定问题,通过时序回放异构监督提升多基准性能。
CropBench 构建包含 106,995 对偏好的基准,揭示现有 IoU 及 IAA 指标与人类偏好对齐有限。CropReward 作为 MLLM 奖励模型显著优于现有标准,指导训练的 CropAlign 在无需人工标注框下超越最先进方法。该研究通过构建最大规模数据集 CropReward-300k,验证了基于奖励监督优化裁剪模型的有效性。
论文提出 PhaseOPD 框架,解决流匹配模型在在线策略蒸馏中不同任务阶段监督需求差异的问题。该方法利用学生模型的速度预测无需额外评估即可识别生成阶段,针对每位教师选择最佳监督状态并跳过剩余 rollout 后缀。
该研究针对预训练模型微调后难以识别哪些权重变化支持新任务行为的问题,提出通过回退(恢复参数至预训练值)和保留(仅保留选定微调更新)配对实验来评估功能贡献。作者在合成金融图表及 Flowers102 等数据集上对 CLIP 模型进行了最终六层视觉块的微调实验。
针对现有风格迁移方法依赖随机区域选择或固定几何约束的局限,该研究提出一种纹理感知子区域风格增强框架。实验表明,结合纹理驱动与辅助随机区域的混合策略,在分类准确率及鲁棒性上均优于现有基于风格的增强方法。
该方法通过奇异值分解提取秩一权重分量作为修正方向,在 ResNet50 上结合 MSP 和 RankWeight 指标优于微调及标准 TWA。实验显示 Mahalanobis 评估结果不一,表明收益取决于分布外评分协议,且修正层靠近分类器时效果更佳。论文已接受至 ACCV2026 Workshop on Subspaces in the Era of Foundation Models。
该论文指出持续学习中存在‘解释漂移’现象,即模型在保持准确性的同时将注意力转向虚假相关特征。作者提出 C3L 方法,利用离线发现的类一致语义概念(如‘弯曲的喙’)作为正则化锚点,打破自指漂移循环并抑制背景虚假相关性。该方法无需人工标注概念集,采用全自动概念发现与空间定位,在五个基准测试和二十多个基线模型中展现出最先进性能。
推荐理由:针对持续学习中的解释漂移问题,提出基于离线发现语义概念的 C3L 方法,打破自指循环并抑制虚假相关性。