ResWAM:通过学习变化而非静态内容构建世界 - 动作模型
arXiv 预印本论文 ResWAM 提出视觉残差学习策略,在冻结 DINOv3 空间下仅监督当前帧到未来帧的特征变化,避免背景冗余。
arXiv 预印本论文 ResWAM 提出视觉残差学习策略,在冻结 DINOv3 空间下仅监督当前帧到未来帧的特征变化,避免背景冗余。
该论文提出利用加权中心 Voronoi tessellation 形成策略与加权最小二乘估计器,实现团队在球形表面上的稳健三维标量场源定位。分析证明该方法渐近达到估计方差的理论下界,且仿真显示其具备在线重构以应对机器人故障的能力。研究明确考虑了传感器异方差性,为多机协同控制提供了近乎最优的梯度估计方案。
该研究提出了一种针对杂乱环境的深度感知路径规划与避障框架,集成 RGB-D 传感、规则避障及 NavfnROS 全局规划器。系统在搭载 Kinova Gen3 臂的 Husky A200 机器人上验证,仿真实验显示成功率提升 40%、最小净空改善 35%,且真实世界测试证实了其计算高效与安全特性。
DBHiCo 框架通过处理原始与去颅骨 MRI 多视图对,利用分层对比损失解决噪声干扰与结构相似性难题。该方法在三个神经数据集上实现最先进性能,优于现有多视图表示学习与对比微调技术。代码与数据许可状态待 arXiv 注册确认。
针对无人机图像分类在大数据集、GPU 及重框架依赖下的局限,本文提出一种无需 GPU 且具备高可解释性的轻量级算法。该方法利用二维色相 - 饱和度直方图特征表示,结合地球移动距离或二次型距离与对数似然概率分数进行分类。
论文介绍 RelMLLM,一种专门用于处理 RGB 和热红外(TIR)传感器输入的 RGB-T 多模态大语言模型。该模型通过显式学习跨模态关系来改进特定任务的决策制定,将模态可靠性、跨模态关系及主导模态表示为可验证的决策状态。
PALIN 是一个大规模内在像素对齐的多模态数据集,包含约 8000 帧来自静态城市路口和多样化移动郊区场景的数据,联合捕捉几何与近红外强度信息。基于该数据集提出的 CMambaFusion 框架利用双向跨模态交互模块和门控拼接 Mamba 模块进行特征融合,实验表明其在纯 LiDAR 及代表性融合基线上实现了更优的精度效率权衡。
论文提出了 StyleJudge,这是一种紧凑的视觉语言评估器,通过少量源到风格化参考对进行条件校准以评估图像风格迁移质量。在包含 12 种艺术风格的 878 对人标注基准上,该模型在未见风格上与人工评分的 Spearman 相关系数达到 0.325,优于 Gram-matrix、CLIP 和 LPIPS 等现有指标。
推荐理由:该工作提出了一种基于小样本参考对进行上下文学习的风格迁移评估模型,在未见风格上的人机相关性优于现有指标。
InvarOrd 模型仅需每等级 5 个样本(共 30 个)即可在三种阶段内适应新鱼种,其 42.3K 参数学生网络比教师小 2.54 倍。该方法在鲑鱼与鳕鱼配对数据上实现 1.476 天平均绝对误差和 56.1% 一日内准确率,优于仅目标训练 0.29 天且推理延迟为每立方体 1.44ms。论文已被 IEEE TAFE 接收,代码与权重开放许可。
针对带宽受限的无人机监控场景,研究如何在 1 Mbps 下行至 1 kbps 时高效传输信息。提出的 BPS 方案在机端运行检测与跟踪器,仅发送由任务卡选出的多帧事件记录(平均 25 字节),优先于位置和图片。
该论文提出一种无需训练的新框架,直接从扩散 Transformer 的图像侧激活中提取视觉概念方向。该方法利用简单的均值差估计器,能在少样本提示对下识别出可复用的概念方向并注入推理过程以实现连续控制。定量结果显示,其方法优于文本编码器引导和免训练激活编辑基线,且能与专用编辑模型竞争,支持在同一图像中对多个概念进行精确的定向和组合式操控。
论文提出一种无需训练的轻量级框架,用于高斯泼溅(Gaussian Splatting)上的查询驱动三维实例分割。该方法利用密集像素级 CLIP 特征保留细粒度语义信息,通过视频分割器在选定视角识别目标区域并跨视图传播,最后利用新颖的可见性投票策略将二维轨迹提升为三维高斯掩码。
该论文提出 Projection-based Top-k Attention Head Suppression 方法,旨在缓解扩散模型的训练样本记忆化问题。研究发现记忆化主要由少数具有异常强语义控制的浅层注意力头驱动。
论文提出 SplatFlow3D 方法,旨在解决短帧间隔下物体运动的遮挡问题。该方法采用 SimpleFlow3D 作为双帧骨干网络,结合图像平面稠密信息与深度维度稀疏信息构建三维运动特征。
针对近地空间拥堵风险,该研究提出多视角空间目标检测(SOD)协同边缘 AI 框架并系统评测深度学习模型。图像级融合在跨卫星链路带宽约束下,平均将通信与推理延迟降低约 30.13% 至 32.80%,且在高视角集下引入的延迟开销极小。该工作为未来协同卫星网络设计及空间态势感知提供了关键设计洞察。
针对室内多层建筑中电梯或扶梯加速后进入长时间匀速巡航导致惯导退化、垂直位移低估的问题,论文提出 Local-Token Causal Attention 架构,将每秒惯性数据压缩为运动令牌并在有限缓存中维持初始状态。
推荐理由:提出 LTCA 架构解决长时惯性里程计在电梯匀速阶段的漂移问题,并在 MSIO 基准上验证了优于短窗口基线的性能。
现代自动驾驶系统主要依赖摄像头、雷达和激光雷达进行环境感知,但这些模态在光照或天气方面存在局限。本文设计了一种水平排列的麦克风阵列作为车辆的“耳朵”,实现了对附近移动车辆在鸟瞰图(BEV)表示下的定位,能够捕捉其相对方向和距离。
论文提出了 RETR,这是首个尝试将事件相机引入 3D 车道检测的工作。作者构建了包含真实世界序列的 DSEC-3DLD 和大规模仿真序列的 Ev-OpenLane 两个多模态基准数据集。
推荐理由:提出首个将事件相机引入 3D 车道检测的模型,在真实与仿真基准上均达到最先进水平。
该研究通过替换实验发现,生成式模型中的思维链(think block)并非被执行的计划,而是对绘制内容的规格说明。内容无关的文本无价值;仅当指代明确时,命名主体能提升效果,否则无效或产生负效应。
推荐理由:研究证实思维链文本仅作为绘图规格而非执行计划,且其价值高度依赖指代明确性。
SRDP(Soft-interior Rim Dense-grid Pooling)是一种无需训练的几何感知读出方法,将冻结的 PFM 晶格转化为与掩码对齐的细粒度细胞表征。
针对通用视觉语言动作模型在关键操作阶段控制精度与执行稳定性不足的问题,本文提出 MARS(Modular Atomic-skill Routing System)框架。
该论文针对数字孪生不精确、测量误差及噪声问题,提出一种结合循环逆雅可比 PI 控制器与软演员评论家(Soft Actor-Critic)学习残差策略的方法。系统通过延迟补偿卡尔曼滤波融合相机数据以估计移动目标位置。
针对 SAR 转光学翻译中过度合成细节的问题,本文提出 SAR-TopoGuard,这是一个无需训练的推理层,可冻结应用于现有生成器。该方法通过随机采样候选、斑点感知梯度相关性排名以及频率门控机制,仅在 SAR 边缘支持处引入高频细节。在 SEN1-2 等数据集上的评估显示,该方法显著提升了 Pix2Pix、CycleGAN 和 CUT 的 PSNR 与 SSIM 指标,且仅增加极低的推理延迟。
针对视觉语言导航策略自回归生成导致的等待延迟问题,VLN-Flash 提出一种无需训练的解码器,能在单次前向传播中并行评估完整动作前缀树。该方法利用分支特定注意力与匹配 token 位置保持原始策略的条件分布,并通过步数贪婪前缀与其最强替代方案的分数差值决定执行步数。
针对真实世界夜间图像增强因缺乏严格配对的日 - 夜数据及复杂退化导致的泛化难题,论文提出 MrLIE 框架。该方法利用多模态大语言模型(MLLM)作为高保真参考合成器与诊断评论家,直接从退化的夜间观测中迭代生成、诊断并校正正常光照参考图。
LC-ISP 是一个大规模基准,由相机实时预览流与离线采集流的内在差距构建而成,包含 53.9k 组空间对齐数据,覆盖昼夜、室内外及 HDR 场景。该基准提供用于模块化监督的采集流中间数据,并开发了一个在 2.5-GFLOP 预算下优于最强单帧基线(PSNR 提升超 2 dB)的两阶段轻量级基线模型。
该论文提出 HospitalBench 基准,旨在诊断具身智能体在处理长医院任务链时的失败机制。基准包含十个医院家务场景,每个场景由两个热身步骤和五个因果关联的子任务组成,依赖前一步状态决定后续动作。
dit.xpu 提出一种针对异构移动 SoC 的稀疏 DiT 推理框架,通过 Tile-aligned 稀疏注意力与锚点误差补偿机制优化数据流。该方案在两款骁龙手机上的五项 DiT 模型测试中,相比 Hexagon-NPU 后端实现高达 1.56 倍的端到端去噪加速,且生成质量接近稠密注意力模式。代码已开源,适用于移动端图像生成与编辑场景。
arXiv 论文提出 Physics-Informed Causal Reasoning (PICR) 方法,旨在解决系统状态随时间变化导致相同动作产生不同响应的难题。
该研究在 ImageNet 验证集上测试了 MambaVision 混合架构中块的消融测量意义。研究发现,真实消融与尺寸匹配的零扰动(通道打乱或符号翻转)在绝对误差上几乎无法区分,表明其块贡献主要源于位置效应而非内容效应。
该论文提出了 GameWM 系统,旨在构建基于交互中心世界模型的下一代视频游戏。系统采用明确的分工策略:GameWM-engine 负责维护精确的规则、状态、相机和世界布局;GameWM-VM 则生成世界外观和玩家互动的细节。
该研究针对意图驱动外骨骼控制,分离了高密度 sEMG 与 IMU 数据中“信息量”与“优化器更新”的独立效应。实验基于公开数据集的十名参与者六种运动任务,证实用户自身其他活动能将拟合度 R²从 0.722提升至 0.788,且楼梯下行是有害捐赠源而坐站行走有益。跨主体同活动数据仅在用户缺乏目标活动时有效,校准后价值迅速坍缩,揭示了无标签测试下何时转移数据的瓶颈。
本文提出一种名为 GDS(generation-derived supervision)的新方法,用于提升脑电图(EEG)信号到图像的解码质量。研究指出单纯优化跨模态对齐无法显著提升重建效果,因此引入基于图像条件的教师网络,将静态特征映射至扩散Transformer的内部表示空间以指导生成过程。
推荐理由:提出生成衍生监督方法,解决 EEG 条件生成器难以跟随固定对齐目标的难题。
针对预训练视觉语言模型在多域任务增量学习中面临的遗忘与适配难题,研究提出 TSP-DLoRA 方法。该方法利用任务子空间投影区分已知未知任务,并通过动态分配低秩适配器平衡性能与参数成本。在 11 个数据集上的三项指标实验验证了该方法的有效性,代码已开源。
该预印本提出 Self-Calibrating Vision-Agent-Action(VAA)方法,在仿真环境中实现无需机器人演示或微调即可适应机械手与基座变化的抓取放置任务。
该研究提出 Ego2Sim2Humanoid 框架,利用第一人称眼镜记录的人类演示数据,通过代理式真实到仿真转换构建物理验证的训练轨迹。方法包含碰撞与纹理资产重建、未见表面补全及目标接触带预测;运动适应阶段将接触带转化为可行腕部姿态与手指闭合,规划无碰撞站立姿势并合成全身运动。
论文提出一种方法,将控制屏障函数(CBF)的安全约束蒸馏到强化学习策略中,使系统在部署时无需运行集中式优化滤波器即可保持安全。该方法通过隐式 Q 学习和合成近碰撞状态进行蒸馏,证明了损失函数能界定策略的约束违反程度和碰撞概率。
针对自监督单目深度网络预测的不确定性仅能排序误差大小而无法反映实际量级的问题,论文提出 MonoCal 方法进行校准。该方法首先利用立体图像对测量单一常数来修正不确定性的尺度,无需重新训练;随后通过重新训练网络使其预测网络与第二台自监督网络在深度上的分歧区域以修正形状分布。
针对自动驾驶领域利用问答基准评估视觉语言模型(VLM)但高准确率未必反映视觉化推理的问题,作者提出了一套诊断评估框架。该框架包含恶劣天气与路口交叉口两类任务,并扩展了 nuScenes 空间推理测试,对开源 VLM 进行了无图、反事实天气敏感度、语言鲁棒性及空间推理四项协议的系统性探测。
WA-JEPA 是一种耦合了动作生成、动作条件潜空间预测和目标感知反馈的世界 - 动作模型。该方法首先生成动作提议并预测未来的场景与本体状态,随后利用任务目标作为参考,通过目标差异残差反馈和未来场景上下文反馈两条互补路径对提议进行迭代细化。