跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 22 页

10月16日周五第 421–440 条
  1. arXiv · 机器人与计算机视觉78

    NavAble:面向盲助导航的大规模数据集与合成数据生成管线

    NavAble 是一个针对盲助导航感知的大规模数据集,涵盖 11 类无障碍关键物体(如听觉行人信号、门激活按钮等),整合了 4.1 万张精选开源图像和 8000 张新采集的密集标注真实世界图像。

    推荐理由:NavAble 数据集与合成生成管线公开,填补了盲助导航关键物体类别的数据稀缺问题。

  2. Hugging Face Daily Papers83

    VITAL:从视觉运动到精确动作

    论文提出 VITAL(Vision-Induced Tokens for Action Learning),旨在将视觉预期转化为驾驶决策。该方法通过耦合视觉导出的运动骨架与紧凑残差编码,使视觉运动成为主要预测目标,同时为轨迹误差提供独立的归一化学习尺度。

    推荐理由:该工作提出 VITAL 方法,将视觉运动作为动作预测主目标并引入残差编码,在 NAVSIM v1/v2 测试集上实现接近多步推理的精度与速度。

  3. Hugging Face Daily Papers78

    Cortex:将上下文整合进参数化记忆

    该研究提出 Cortex 框架,旨在解决大语言模型在移除上下文后性能丧失的问题。通过生成前瞻性查询并蒸馏上下文条件输出为低秩或结构前馈网络更新,该方法实现了记忆巩固与能力保留的平衡。

    推荐理由:报告提出 Cortex 方法,将上下文增益蒸馏为可合并的参数更新,在保持非目标能力同时实现记忆巩固。

10月14日周三
  1. Hugging Face Daily Papers85

    MAI-Gym:面向移动与计算机环境的 GUI Agent 评测与 RL 训练开源平台

    论文介绍 MAI-Gym 这一开放的一体化平台,统一了移动端、电脑端和 Web 端的 GUI Agent 评测、数据收集及在线强化学习训练流程。该平台通过共享部署管道确保行为一致性,支持十个基准测试并扩展至两万并行环境实例。

    推荐理由:MAI-Gym 平台统一了移动与计算机环境的 GUI Agent 评测与在线强化学习训练,支持合成任务并实现了从模拟到物理设备的技能迁移。

  2. Hugging Face Daily Papers82

    Pack Light, CarryOn:构建面向长周期智能体的面向对象上下文

    论文介绍 CarryOn,一种将长周期任务上下文组织为可复用对象的运行时机制,避免依赖压缩的历史记录。该方法通过维护载体记录、结合环境检查更新基础信息并保留未受影响记录,在 OSWorld 2.0 和 BrowseComp-Plus 基准上分别提升性能 5.8% 和 7.0%,同时降低 Token 使用量 51.9% 和 22.9%。材料为预印本论文,提供 GitHub 项目页面链接。

    推荐理由:提出 CarryOn 对象化上下文运行时,在 OSWorld 和 BrowseComp-Plus 上提升性能并显著降低 Token 消耗。

10月13日周二
  1. Hugging Face Daily Papers82

    Game2Real-Bench:玩具游戏能否揭示并迁移至现实世界的视觉推理?

    论文提出了 Game2Real-Bench 基准,旨在研究基于玩具游戏的评估指标是否对应真实世界的视觉推理能力。作者构建了包含 1000 个可执行验证的游戏样本和 400 个按推理要求对齐的真实世界样本,对 25 种代表性 VLM 进行了测试,观察到游戏与真实场景间高达 0.935 的相关性。

    推荐理由:该基准通过对比玩具游戏与真实世界样本,量化了视觉推理能力的迁移效果,为评估 VLM 在复杂场景下的泛化性提供了新工具。

  2. Hugging Face Daily Papers83

    重新思考多模态大模型中的投影器训练:PORTAL 免配对数据实现性能匹配

    论文发现投影器训练仅需少量数据即可恢复大部分下游增益,且不同数据集训练的投影器可线性插值。为此提出 PORTAL 方法,利用各模态的摘要统计量构建最优传输映射,无需配对图像 - 文本数据或梯度优化即可初始化投影器。

    推荐理由:提出无需配对数据的无梯度初始化方法,在多项基准上接近或超越标准微调流程。

  3. Hugging Face Daily Papers78

    Evidence-First Agentic Verification:一种基于证据优先的智能体验证方法

    针对长程半可验证智能体任务依赖评分标准却易受错误报告影响的问题,研究提出 Sauron 验证器。该方法独立调查环境状态与执行轨迹,仅在验证来源后接受声明,并通过有界查询减少冗余工作。

    推荐理由:Sauron 方法在长程任务中通过独立验证证据提升评估准确率,相比基线成本更低且抗攻击性强。

10月12日周一
  1. arXiv · 机器人与计算机视觉78

    SimVTA:基于仿真的视频 - 轨迹对齐用于驾驶世界动作模型

    针对驾驶世界动作模型(WAMs)在强化学习后训练阶段缺乏替代轨迹视觉监督的问题,本文提出 SimVTA 框架。该方法结合轨迹优化与视频监督,利用真实世界模拟器渲染高奖励候选轨迹的未来视频,并在有限渲染预算下优先处理高误差未来以更新共享表征。

    推荐理由:提出 SimVTA 框架,利用仿真生成视频监督以解决驾驶世界动作模型的轨迹规划问题。

  2. arXiv · 机器人与计算机视觉78

    地理空间基础模型嵌入中的捷径学习与跨灾害损害评估

    该研究针对地理空间基础模型在熟悉灾害上高准确率可能掩盖捷径学习的问题,利用 TerraMind、Prithvi-EO-2.0 等模型在 xView2 和 BRIGHT 数据集上进行测试。

    推荐理由:研究揭示地理空间基础模型在跨灾害评估中存在捷径学习风险,提出特征变换方法可提升泛化能力。

  3. arXiv · 机器人与计算机视觉78

    KVeil:ECCV 2026 LifeGenIP 挑战赛不可学习视频挑战冠军方案

    该报告介绍了 ECCV 2026 LifeGenIP 挑战赛的两个阶段的一等奖解决方案,旨在通过极小扰动保护面部视频免受身份定制攻击。第一阶段引入参考容量坍塌损失和运动引导 EOT 机制;第二阶段针对基于微调的定制和未见过的生成模型,设计双层框架分别保护人脸与背景区域。该方法在白色盒参考定制下实现近乎完美的防护,并对其他定制范式、多种模型及时间攻击保持有效。代码已公开。

    推荐理由:报告了 ECCV 2026 LifeGenIP 挑战赛的冠军方案,提出双阶段框架以在有限扰动下防御面部视频的身份定制攻击。

  4. arXiv · 机器人与计算机视觉83

    X-AVDD:一种基于交叉注意力的音频 - 视觉数据集蒸馏方法

    论文提出了 X-AVDD,这是一种基于交叉注意力的音频 - 视觉数据集蒸馏方法,旨在从大规模配对数据集中合成小数据集并保留训练效用。该方法通过解耦跨模态对齐与联合优化,显著降低了内存需求,将端到端合成成本减少了约 8 倍 GPU 小时。

    推荐理由:针对现有音频 - 视觉数据集蒸馏方法内存占用高且跨模态语义对应弱的问题,提出基于交叉注意力的 X-AVDD 方法。

  5. arXiv · 机器人与计算机视觉78

    ELMA:用于长期文本到动作生成的指代性组合基准

    本文介绍 ELMA,一个具有密集分段注释的长期动作生成数据集,旨在解决现有模型难以处理涉及指代关系的跨段约束问题。研究团队通过全自动管道从网络视频中提取高质量连续 30 秒片段,并微调了最先进的动作生成模型以融入长程上下文。

    推荐理由:ELMA 数据集与基准揭示了现有模型在处理长程指代性指令时的不足,为长期动作生成提供了新的评估标准。

  6. arXiv · 机器人与计算机视觉78

    对现有 VLM 基准评估运行的审计:揭示图像依赖度不足与评分偏差

    该研究提出一种审计框架,复用 VLM 评估运行中已生成的预测、正确性及元数据工件,通过 VLMEvalKit 新增的六个检测器及纯文本重跑层进行后处理分析。在 MMStar 基准上发现,20.2%的问题无需图像即可达到零准确率增益,其中数学与科学类别存在显著偏差;另有 134 个问题因所有模型均选择同一非标准答案而引发评分争议。

    推荐理由:作者利用现有评估运行产生的原始工件,为 VLMEvalKit 新增审计层以检测基准缺陷与评分偏差。

  7. arXiv · 机器人与计算机视觉78

    VideoAWR:通过解耦时间步优势加权校正强化视频流模型

    该论文针对基于回归的 RL 在流模型中面临的冷启动病理与几何引导爆炸问题,提出 VideoAWR 方法。该方法通过将采样与优化锚点解耦,利用 EMA 参考策略生成引导式 rollout 恢复奖励可分性,同时训练策略对无引导条件锚点进行校正。

    推荐理由:提出 VideoAWR 方法解决视频流模型优化中的冷启动问题,实现单分支推理且保留 CFG 语义。

  8. arXiv · 机器人与计算机视觉78

    解码寄存器令牌以保留全局场景细节

    该研究调查了在已有完整空间补丁表示的情况下,保留寄存器特征是否能改善图像解码效果。作者使用冻结的编码器与联合自注意力解码器进行实验,发现保留寄存器特征能将基于 DINOv2 和 DINOv3 的重建 FID 分别降低 9.5% 和 5.2%,PSNR 提升至 19.73 dB 和 20.54 dB。在生成任务中,该方法使 DINOv2 的 FID 比仅用补丁的基线低 9.8%。

    推荐理由:研究证明保留非空间寄存器特征能显著降低图像重建误差并提升生成质量,为现有视觉模型利用全局场景信息提供了新路径。

  9. arXiv · 机器人与计算机视觉82

    CV-OPD:一种解决视觉语言模型后训练中视觉捷径问题的对比式同策略蒸馏方法

    针对现有视觉语言模型(VLM)在同策略蒸馏中过度依赖文本答案提示而忽略真实视觉证据的缺陷,本文提出 Contrastive Vision On-policy Distillation (CV-OPD) 方法。

    推荐理由:提出对比式同策略蒸馏方法,通过引入负样本教师与差异感知门控机制,解决现有 VLM 后训练依赖答案捷径、忽视视觉证据的问题。

10月10日周六
  1. Hugging Face Daily Papers78

    Evolving to Match Capabilities:通过技能适配提升 Harness 自进化能力

    Harness 自进化的效果取决于模型能否遵循其引导,但研究发现强模型的有益技能对弱模型可能有害甚至降低性能。为此,作者提出技能适配方法,利用外部重写器诊断工具执行、上下文管理等失败原因并蒸馏为固定元技能,在不依赖执行证据的情况下将通用技能改写以匹配执行者能力。实验显示该方法在七种不同能力的执行器上均提升了自进化循环的最终得分,为开发更有效的 Harness 自进化提供了设计指导。

    推荐理由:原文发现通用技能对弱模型有害,提出通过元技能诊断失败并适配技能以匹配执行者能力的方法。

10月9日周五
  1. arXiv · 机器人与计算机视觉85

    SLVR:基于类人推理流的结构化潜变量视觉推理

    论文提出 SLVR 框架,旨在解决多模态大模型过度依赖语言先验的问题。该方法将显式思维链与潜变量推理结合,通过掩码答案文本并对比视觉干扰项进行训练,随后对规划、定位、证据选择和整合四个阶段分别施加监督信号。基于 Qwen2.5-VL-7B 的 SLVR 在 MMVP 和 BLINK Relation 等基准上取得显著提升,证明了结构化潜变量监督能在避免推理开销的同时增强细粒度视觉推理能力。

    推荐理由:提出 SLVR 框架,通过结构化潜变量监督实现规划、定位与证据选择分离,在 Qwen2.5-VL-7B 上提升多模态推理基准表现。