Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding
该论文提出 CAFT(Cross-domain Alignment of Forest and Trees)视觉语言模型,旨在解决现有模型难以忠实理解长细节丰富描述的问题。
该论文提出 CAFT(Cross-domain Alignment of Forest and Trees)视觉语言模型,旨在解决现有模型难以忠实理解长细节丰富描述的问题。
针对动态 3D 开放世界与竞技 PvP 场景下 VLA 模型难以从密集视觉输入中提取稀疏可行动作的局限,本文提出 3A-VLA 框架。该框架通过意图抽象(IA)与环境语义抽象(ESA)将指令压缩为语义原语并将视觉流结构化,利用抽象对齐重加权(AAR)模块自适应调整动作模仿损失权重。
该研究为填补公共 ERCP 数据稀缺缺口,发布了包含 1.602 名患者、共 3.835 张图像的 curated 数据集。其中 5.519 张图像经两名资深胃肠病学家标注并验证,旨在建立自动分析基准。分类实验已证明该集合在胆胰疾病诊断中的效用与有效性。
论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。
推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。
针对现有皮肤病图像分析基准缺乏患者提问和临床语境的问题,该工作提出 DermaVQA-DAS 扩展版及皮肤科评估架构(DAS)。DAS 包含 36 个高层和 27 个细粒度评估问题,支持中英文多选。
该研究提出一种融合 GPR 与 IRT 模态的层级注意力框架,用于检测钢筋混凝土桥面脱层。作者指出模型约 0.53M 参数,但实验结果因训练测试集划分存在缺陷而被夸大且不可复现。论文已正式撤回,无法提供 PDF 或可验证的实验数据。
针对端到端视觉控制器的闭环行为难以验证问题,本文提出确定性世界模型(DWM)和动作引导分区验证方案。DWM 仅从物理状态生成图像,无需潜在变量解码器;结合动作引导的分区策略,在固定计算预算下显著降低未知区域比例。实验显示该方法比 cGAN 代理更准确,鲁棒性区间收窄 1.9 至 69 倍。
现有自动驾驶数据缺乏对风险前兆与应对措施的关联标注。本文介绍 PotentialRiskQA 数据集,提供场景证据、潜在风险及缓解动作的结构化注释;基于此训练 PR-Reasoner 模型,通过多任务监督提升场景理解、风险认知与行动质量,减少无依据的风险推断。消融实验表明中间推理步骤的监督进一步降低错误推断并改善行动质量;在 NAVSIM 上的表征学习提升了开环规划性能。
针对视依赖反射导致外观与几何纠缠的挑战,本文提出了 Pygmalion Effect in Vision 框架,通过图像到黏土翻译将高反光物体转化为类黏土形式。
论文介绍 HoloTea,一种基于流匹配的三维感知框架,用于从连续组织切片和 H&E 图像推断未检测切片的基因表达。方法利用相邻切片的注册位置信息通过轻量 ControlNet 提供跨切片上下文,确保预测沿解剖结构连续;采用学习到的零膨胀负二项分布先验处理计数数据的离散性;引入全局注意力块以线性成本整合全片上下文。
针对水下图像恢复依赖高质量配对数据的难题,该框架利用自然照片构建 UWNature 数据集并合成输入以保留清晰参考源。实验在 6 种恢复架构和 3 个测试集上验证了其在客观指标、人类感知评估及合成退化与学习行为对应关系上的有效性。研究证实合成数据的空间合理性并非性能提升的必要条件,为构建可靠配对监督提供了可扩展方案。
该论文提出利用对偶几何约束来改善基于潜在扩散变换器的视频生成模型,解决其存在的几何不一致、运动不稳定和视觉伪影问题。研究通过偏好优化将对偶几何约束对齐到扩散模型中,无需端到端可微分即可高效施加几何原则。
该研究提出 CLF-RL 方法,将非线性控制理论中的控制李雅普诺夫函数与优化的参考轨迹嵌入强化学习奖励,替代传统启发式奖励的手动调优。通过处理系统混合结构的全阶动力学进行轨迹优化,位置跟踪性能提升最多 1.7 倍。策略在宇树 G1 类人机器人上实现完整飞行阶段的可靠跑步,具备抗干扰能力和仅靠机载传感器实现的准确全局参考跟踪能力。
该方法通过精心选择的光谱滤光片调制智能手机多摄系统的响应函数,结合新数据集 Doomer 训练神经网络,实现比传统单图方法更准确的高光谱重建。实验在三部物理手机上评估,其中两部为训练未见设备,且利用 DNG 元数据适配无需目标设备实拍图像。
论文提出了 Track-Free Dense Structure from Motion (TFD-SfM),该方法联合优化相机外参、焦距和几何,并从严格的冷启动开始工作。
本文介绍了一种由刚性手臂和软体操纵器串联而成的混合机器人系统,旨在结合刚性机器人的精度与重复性与软体结构的顺应性和适应性。作者提出了一种定制的模仿学习算法,该算法适用于此类混合系统,能够利用刚性的精确操作和软体的身体特性来习得操作技能,并一次性泛化到任务变化中。实验表明,该系统在堆叠等经典任务中的性能达到或超过刚性机器人,同时实现了通过狭窄开口抓取物体等全新的行为模式。
该论文提出机械可解释性(MI)需建立严谨的推理逻辑以支持科学发现。作者通过对比神经科学与 MI 进展,识别出从复杂神经网络中推断机制时的瓶颈,并提出了五项原则构成的递归逻辑框架。该框架旨在将局部可解释性结果转化为模型内部的累积机制知识,并使这些机制足够精确以生成关于模型外部领域的可测试假设。材料强调仅凭 MI 证据不足以确立模型机制对世界的揭示,需要额外证据支持。
针对多模态模型在任务适配后加入拒答机制可能丢失正确答案的问题,本文提出了 ReFrain(无回归拒答)方法。该方法结合首 token 对数概率线性探测、图像簇阈值校准及确定性否决机制,在替换被拒绝输出为“以上都不是”选项的同时保留所有其他响应。
推荐理由:提出 ReFrain 方法,在保持微调增益的同时显著提升不可回答问题的正确拒绝率。
CLIFER 模型结合想象与持续学习技术,在 66 名参与者与人形机器人进行的平衡内被试实验中,显著提升了个体效用并诱发了更高的让步率。该异步架构能在实时交互背景中更新模型,相比 FaceChannel 基线实现了更广泛的唤醒度估计范围。研究证实将持续情感个性化与差异反馈耦合于实时谈判具有实际价值。
论文 GARD 针对 CLIP 等多模态对比学习模型易受后门攻击的问题,提出一种目标与触发器无关的后处理防御方法。该方法利用有损编码器对全局和局部扰动的敏感性差异,优化互补的对抗探针以最大化位移干净图像表征,随后将扰动后的表征与解耦的干净锚点重新对齐并保留图文对齐能力。
HaiRuo 模型从 30 天卫星海平面图中单次前向传播,同时输出 15 天海平面、地转流速及每日涡旋掩膜与轨迹。其核心组件 HaiRuo-1B 为无标签预训练的 10.5 亿参数基础模型,在相同解码器下将 15 天中心误差从 30.6 km 降至 25.2 km(-18%),并在厄尔尼诺 - 南方涛动周期内保持优势。开源权重、代码与项目页面已公开,支持跨六个骨干网络的物体注意力机制优化。
该研究重新分析了 Lewis & Frank(2018)的成人词扩展数据,发现基于 DINOv2 编码器的图像距离与词汇扩展呈显著关联。实验显示,当示例为上位词时,成人将新词扩展到上位项目的比例达 77.5%,远高于下位词示例的 1.1%。在人工学习系统中,类别间视觉距离越远,命名准确率越低(近/中/远距离对分别为 84.7%/65.4%/53.0%),表明视觉相似性仅部分解释泛化机制。
针对对抗训练中伪攻击导致损失增加却无法改变模型置信度结构的问题,论文提出两种互补方法:一是结合交叉熵和 KL 散度的混合目标以同时破坏预测精度与分布一致性;二是通过最大化置信流形上的分布距离进行几何重构。理论分析表明最优扰动方向对齐 Fisher 信息矩阵的主特征向量,并提出了避免高维矩阵计算的算法。实验显示该方法在多个数据集和架构上优于现有方法,尤其在置信度区域的结构化扰动方面表现突出。
TransGHOST 提出一种因果参考引导的重建管线,其非生成式安全模式通过仅对可见区域拟合几何变换进行重采样,实现眼科显微手术的实时操作。该系统在犬白内障手术数据集上达到 31.89 dB 掩膜 PSNR 和 51.7 ms 中位延迟,并在验证集上比 LaMa 基线提升 3.45 dB。该方法提供逐像素置信度与溯源标记,将不支持区域标记为弃权,确保视觉来源可靠性。
针对文本引导的医学图像分割模型过度依赖提示词中病灶范围信息的现象,该研究通过反事实实验发现,仅保留大小或位置描述即可恢复大部分性能提升,且部分模型从训练数据习得了命名诊断的习惯。论文提出了一种无需训练新模型即可量化提示词泄露程度的评测协议,并报告了在不使用测试掩码的情况下,基于图像估计病灶范围的最佳方法在结肠镜任务上达到 74.59 Dice,略低于已发表的 77.23。
该论文提出了 RB-LDC(Redundancy-Balanced Latent Coding)方法,旨在解决潜在扩散模型解码器对扰动的敏感性不均问题。研究构建了一个编码器与扩散过程之间的可逆线性层,利用基于雅可比矩阵的敏感度估计,在能量预算约束下最小化加权后的 LMMSE 风险,从而优化潜空间各方向的噪声分配策略。
针对图像、音频及语言处理中深层网络内部机制难解的问题,该文章概述了通过识别因果激活组件来解析网络行为的方法进展。内容涵盖机器学习、人工智能及计算机视觉领域的最新研究视角,旨在揭示神经元间复杂依赖关系背后的运作机理。
针对标准 URDF 文件格式缺乏高层语义上下文的问题,论文提出了 URDF2Ontology 框架,利用大语言模型与迭代图净化机制,将原始 URDF 文件自动转化为填充了语义信息的 OWL 本体。
Alexander A. Wolf 在 arXiv 发布预印本论文,引入振荡处理单元(OPUs)概念,即共享节律的合成神经元组。该架构通过定向交互将输入活动与先验状态转化为振荡占用空间(OOS),支持逻辑数值运算、联想回忆及固定权重下的闭环决策。研究建立了测量关系图谱以支持响应类预测,旨在为生物仿生智能提供经验保留于状态中的计算基底。
该研究针对分区与阅读顺序错误下的 OCR 文本对齐问题,通过合成噪声、历史报纸及几何推导金标准进行了严格评测。实验显示,在测试的多种方法中,2019 年提出的位置感知对齐器在合成基准页面上取得了最高的 F1 分数。尽管多区域版本存在二次方扩展成本且局部跟踪对大位移仍显脆弱,但该方法在处理锚点稀缺情况下的恢复能力优于基线。
论文提出了 GenEA,这是一种新型智能体表示法,旨在基于动作推理人们的计划和目标。该框架的核心是一个多层状态空间,将关节身体的粗粒度生物力学与其与附近物体的相互作用耦合起来,通过扩展机器人领域的任务 - 运动规划框架并引入基于仿真的直觉物理来实现。
MouldIt 是一款基于时序卷积与注意力机制的变分自编码器,用于重构模内信号并分类合格件或合成故障模式。该模型在单模态设置下仅需 4000 个周期、多模态设置下仅需 2000 个周期即超越经典机器学习基线。其在单模态与多模态下的零件分拣损失分别为 6.0±0.7% 和 1.0±0.3%,在所有基准方法中排名第一。
该系统针对乌兹别克官方文档中 Cyrillic 与 Latin 混排导致的同源异体字 OCR 难题,在本地硬件上利用 Byte-Level ByT5 模型及基于 359 个错误事件估算的噪声生成器进行修正。
论文提出状态条件不变性(SCI)原则,要求视觉语言模型在保持语义不变的呈现变化下保持稳定,同时能响应改变任务结果的因果干预。作者构建了 GridWM-Judge 基准,利用确定性 MiniGrid 轨迹生成全量、证据移除及反事实变体,结合呈现与表征探测进行诊断评估。
推荐理由:提出状态条件不变性原则,构建基于确定性轨迹的仿真基准以诊断多模态模型作为裁判时的感知与因果敏感性。
针对流匹配(FM)在目标数据与标签受污染时的脆弱性,研究提出将特定残差分数映射为样本权重以增强鲁棒性。提出的时序残差分数(TRS)和比较条件分数(CCS)分别在中间至晚期时间步及同类轨迹间比较残差,有效提升了抗噪能力。实验表明该方法在受控腐蚀设置与真实世界噪声标签下均优于标准 FM 及鲁棒训练基线。
该研究提出一种生物学合理的概率模型,假设特征推断与组织成有意义部分的推断(即分割)相互耦合。模型通过递推和反馈在自然图像输入下迭代推断特征与分割,诱导神经表征中的动态变化。
推荐理由:提出概率模型解释早期视觉皮层动态,预测增益与变异性衰减,为迭代计算推理成本提供理论视角。
该论文研究流匹配机器人策略在欧拉采样中精度与局部稳定性的不同要求。作者使用冻结权重的模型在 LIBERO 任务上验证,发现尽管未违反非扩张条件,但部分输入仍需较多步长才能达到高精度,表明终端精度不足以保证局部稳定性。
该论文提出了结构化核代理模型(SKS),旨在解决跨样本多模态归因问题,即衡量一个样本中的某一模态如何影响其他多模态样本的学习结果。作者设计了基于结构组合核的核岭回归算法及梯度估计方法,在包含卫星图像、路网、文本等多种模态的两个基准数据集上进行了评估。
论文提出了 TypedInk 方法,该系统能从可能不完整的信息源(如大纲、草稿段落或单句意图)推断出所需的图表类型(diagram/plot/plate),并分发至能履行该类型证据契约的渲染器。
针对 NIH ChestX-ray14 数据集的官方患者不重叠测试集,研究对比了五种 ImageNet 预训练骨干网络与 EVA-X-S 基础模型的集成效果。结果显示,EVA-X-S 单独测试宏 AUROC 为 0.828,而五模型集成仅为 0.814,且计算延迟和参数量分别增加约 7.8 倍和 10 倍。