DEIMv2:融合 DINOv3 特征的实时目标检测模型
该研究提出了 DEIMv2 系列目标检测模型,通过结合 DINOv3 特征与空间调优适配器(STA),在涵盖从 X 到 Atto 的八种模型规模上实现了性能与成本的优化。其中最大模型仅用 5030 万参数即达到 57.8 AP,而 S 版本成为首个参数量低于 1000 万且超越 50 AP 里程碑的模型。
推荐理由:该工作将 DINOv3 特征引入检测框架,在保持参数高效的同时实现了性能突破。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
该研究提出了 DEIMv2 系列目标检测模型,通过结合 DINOv3 特征与空间调优适配器(STA),在涵盖从 X 到 Atto 的八种模型规模上实现了性能与成本的优化。其中最大模型仅用 5030 万参数即达到 57.8 AP,而 S 版本成为首个参数量低于 1000 万且超越 50 AP 里程碑的模型。
推荐理由:该工作将 DINOv3 特征引入检测框架,在保持参数高效的同时实现了性能突破。
论文提出 V-LUMEN,一种用于视觉语言模型(VLM)的视觉查找记忆机制。该方法利用冻结码本将连续视觉特征离散化,通过空间聚合哈希构建感知空间的记忆键,并利用文本条件的相关性信号进行调制;所有寻址均为非参数化操作,检索到的嵌入向量通过门控残差路径融合到骨干网络中。
推荐理由:V-LUMEN 通过冻结码本将连续视觉特征离散化,在保持计算量恒定的前提下为 VLM 提供可扩展的外部记忆容量。
论文介绍 OmniBrain-0,这是一个轻量级统一具身代理模型,旨在协调操作与导航任务。该模型采用共享高层决策架构,结合任务理解、规划及反馈驱动恢复机制。研究提出渐进式训练框架,整合具身预训练、领域专用代理蒸馏及多教师在线策略蒸馏(MOPD),并将 Rubric-Guided Recursive Self-Improvement 数据飞轮引入以持续优化专家模型。
推荐理由:报告提出 OmniBrain-0 统一代理架构,通过渐进式训练与递归自我改进机制整合多模态能力。
该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。
推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。
该论文挑战了‘离散视觉 Token 必然导致语义损失’的假设,提出因子化向量量化方法以缓解代码本饱和问题。在工业级多模态数据上训练的模型,在多指标平均性能上超越 UniAR 和 Emu3-Chat,并在细粒度 OCR 任务上与 Qwen3-VL 等连续表示模型竞争。材料提供了关键原则与实践配方,支持离散视觉表征作为大规模原生多模态基础模型的潜力。代码与模型已开源。
推荐理由:提出因子化向量量化方法,在离散表示下实现与连续表示相当的多模态理解性能。
针对多指灵巧手的内手持物体姿态调整任务,本文提出了一种无需人类数据即可在仿真中训练的策略配方,涵盖多样化重置、生成抓握数据集及自适应摩擦课程。通过系统辨识,该策略可零样本迁移至真实 LEAP 机械手,仅需手腕深度相机或动作捕捉即可实现。
推荐理由:本文提出无需人类数据的灵巧手策略训练配方,并通过学习到的残差安全滤波器将物体掉落率降低 75%,同时保持高成功率。
论文指出语言链式思维导致多模态大模型无法可靠回溯视觉证据,从而引发视觉遗忘。为此提出 VideoLVR,从相关视频时刻构建局部区域的潜在视觉证据,将视觉 token 重构作为词汇表预测任务,统一了视觉证据重建与文本生成框架。该方法支持在推理过程中高效整合不同时刻的视觉信息,并通过强化学习联合优化策略。实验表明其在需要细粒度视觉证据的任务上有效,且未显著扩展多模态上下文。
推荐理由:该工作提出 VideoLVR,通过潜在视觉证据重构与强化学习优化,解决多模态大模型在推理过程中的视觉遗忘问题。
本文介绍了一种针对四旋翼穿越移动窄缝任务的端到端视觉控制策略,该策略直接基于机载视觉和惯性测量输出推力与姿态指令。研究提出可微分移动间隙公式,将稀疏的穿越事件转化为密集的路径目标,无需教师、规划器或蒸馏即可从随机初始化训练。
推荐理由:提出可微分移动间隙公式,实现无需教师或规划的端到端视觉控制策略,在仿真与真实四旋翼上均验证了从随机初始化直接学习动态窄缝穿越的能力。
针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。
推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。
这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。
推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。
该研究提出 MARL-Exo 框架,通过多智能体强化学习在仿真中同时训练全身体肌肉骨骼模型与双侧髋关节外骨骼策略。策略仅观测延迟的髋部运动学信息,奖励函数包含基于生理学的代谢功率(及可选的机械功塑形)。
推荐理由:该研究展示了通过多智能体强化学习在仿真中与人体模型共适应训练的髋关节外骨骼策略,能在无需针对新用户单独调优的情况下降低代谢成本。
针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。
推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。
该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。
推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。
该论文提出 GCSR-OCC 框架,通过证据守恒高斯到占用算子(EC-G2O)抑制尺度膨胀并校准响应,利用多模式查询优先高斯语义路由(MM-QGSR)匹配文本查询以细化 voxel 级预测。
推荐理由:提出 GCSR-OCC 方法,结合几何校准与语义路由解决开放词汇占用预测问题。
arXiv 论文 GAWM 提出了一种紧凑的多任务世界动作模型(WAM),旨在解决现有基于百亿参数视觉语言或视频生成骨干网络的高训练成本与推理延迟问题。该模型在冻结的 DINOv3 编码器潜在空间内预测未来观测,将每个相机视图的特征压缩为少量 token,并通过轻量级预测器根据任务而非动作来预报这些 token。
推荐理由:该工作提出了一种仅用不到1亿参数且无需预训练的紧凑型世界动作模型,在RoboTwin 2.0和LIBERO基准上表现优异。
论文介绍 SceneEvolve 框架,将三维场景表示为可执行代码并通过演化 harness 来改进重建效果。该框架结合参数化原语与语义空间关系构建动作接口,利用强教师模型迭代优化 harness,同时保持模型参数固定。
推荐理由:该工作提出用代码演化框架提升开源模型在三维重建任务上的表现,并实现了对闭源大模型的超越。
该论文提出 EvidenceConnect 数据合成框架,通过利用单张图像内相关区域的局部放大视图生成需要比较、聚合或链式推理的视觉问题,并保留独立 VLM 一致的答案及通过区域消融测试的问题。基于此数据训练的 ZwZ2 模型在细粒度感知、空间感知、具身空间推理、多模态长上下文理解及通用视觉推理等任务上均取得提升。材料为 arXiv 预印本版本,未提及同行评审状态或具体开源仓库链接。
推荐理由:提出 EvidenceConnect 框架,利用单图局部放大视图合成数据以训练连接证据能力,提升多模态感知与空间推理。
该研究针对多视图 3D 感知中 VGGT 模型全局注意力计算量大、长序列运行慢的问题,提出了一种无需训练的加速方法 GPA-VGGT。该方法通过用共享跨帧 K/V 集增强的帧注意力替换早期块的全局注意力,并在后续块中仅合并键值对同时保留所有查询,恢复被合并键代表的注意力质量,并将匹配度量随机投影至 128 维以降低计算成本。
推荐理由:提出无需训练的加速方法,在保持高精度几何估计的同时显著降低长序列推理成本。
论文提出 TAPESTRY 方法,通过 Tokenizing Actions as Video Patches in a Shared Transformer Policy,将预训练视频扩散模型复用于机器人控制策略,无需在推理时进行资源密集的视频生成。
推荐理由:该工作将预训练视频扩散模型复用于机器人策略,无需推理时生成视频即可输出动作序列。
针对视觉自回归生成受限于训练数据分布的问题,本文提出 Next Token Imagination(NTI)方法,允许模型在满足特定约束条件下探索未见过的合理视觉实现。实验表明该方法能显著提升生成图像保真度,接近最先进扩散和自回归模型效果,同时具备更小模型规模和更低训练成本。
推荐理由:提出 Next Token Imagination 方法,在 ImageNet 上以较小模型和更低成本实现生成图像保真度提升。