跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 21 页

10月16日周五第 401–420 条
  1. 上海人工智能实验室 · 科研动态82

    上海 AI 实验室发布书生-S2 多模态大模型并破解三维 Ghys 猜想

    上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。

    推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。

  2. arXiv · 机器人与计算机视觉78

    RealityBench:基于仿真环境的 VLM 人类体力工作文档化能力评测基准

    RealityBench 是一个在 Blender 中构建的包含十一类物理工作环境(如屋顶太阳能安装、车辆维修)的评测基准,旨在评估视觉语言模型记录人类体力工作的能力。

    推荐理由:该研究在 Blender 中构建了十一类物理工作场景,对 26 个 VLM 模型进行文档化能力评测,揭示了其在读取测量值和判断空间关系上的短板。

  3. arXiv · 机器人与计算机视觉78

    面向开放-ended 视觉科学发现的稀疏自编码器方法

    Jacob Beattie 等人提出一种基于稀疏自编码器的方法论,旨在从视觉基础模型中挖掘候选特征以支持开放式的科学发现,无需针对特定概念的监督。

    推荐理由:该论文提出利用稀疏自编码器对视觉基础模型进行无监督特征挖掘,在三个数据集上验证了发现已知概念及潜在诊断特征的能力。

  4. arXiv · 机器人与计算机视觉82

    Enabling Validation for Robust Few-Shot Recognition 论文发布

    针对少样本识别中因缺乏验证数据导致模型过拟合的问题,本文提出一种多目标优化验证策略,在提升 ID 任务性能的同时保持对检索 OOD 数据的泛化能力。作者将验证问题形式化为 Pareto 前沿上的操作点选择,并集成到分阶段微调流程 VEST 中。实验表明该方法在五个基准测试的 ID 和 OOD 数据上均优于现有方法。

    推荐理由:提出将检索数据作为验证集的多目标优化策略,解决少样本微调中的过拟合与泛化难题。

  5. arXiv · 机器人与计算机视觉82

    PrismaCoder:通过分解式评分标准合成推动开放多模态代码智能边界

    论文针对多模态代码智能领域数据质量与生成管线受限的问题,提出 PrismaForge 分层数据管道,利用分解式评分标准同时作为过滤与奖励机制来构建高质量数据集。基于此构建了 PrismaCoder-2M 最大规模开放数据集,并训练发布 PrismaCoder-9B 和 PrismaCoder-35B 模型,在开源领域大幅领先现有水平且媲美主流闭源系统。代码与数据已公开。

    推荐理由:提出基于分解式评分标准的数据合成管道,构建最大规模开放数据集并训练出领先开源界的代码智能模型。

  6. arXiv · 机器人与计算机视觉82

    视觉语言模型像有偏见的贝叶斯观察者一样整合冲突证据

    Josh Barua 等人提出一种基于贝叶斯视角的两参数线索组合模型,用于解释视觉语言模型(VLM)如何处理文本与图像之间的冲突证据。该研究将模态偏好建模为条件独立证据的整合过程,并引入模态特异性偏差项。实验表明,该模型无需重新拟合即可准确预测 VLM 在不同输入退化条件下的行为,并能泛化到新的不可靠性形式,成功统一了关于文本主导与视觉主导的现有报告。

    推荐理由:该工作提出两参数线索组合模型,从贝叶斯视角解释 VLM 如何整合冲突证据并预测模态偏好。

  7. arXiv · 机器人与计算机视觉82

    GroundGUI:基于高质量数据与蒸馏强化学习的 GUI 定位模型

    针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。

    推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。

  8. arXiv · 机器人与计算机视觉83

    基于表示的条件化生成方法

    针对现有表示对齐方法在后期层难以有效获取语义的问题,提出一种名为 RECON 的简单解决方案。该方法在训练阶段将预训练视觉编码器 token 输入到后期层;推理阶段复用 MLP 头作为代理并投影输出 token。实验表明,RECON 无需增加任何参数,收敛速度比 SiT 快 63 倍,比 REPA 快 25 倍。代码已开源。

    推荐理由:提出无需增加参数的表示条件化方法,显著加速扩散 Transformer 训练收敛。

  9. arXiv · 机器人与计算机视觉82

    Player-1:通过合成经验学习游戏控制

    该论文介绍 Player-1 框架,旨在超越演示数据限制,通过学习合成经验来提升计算机智能体的游戏控制能力。研究扩展了动作空间以支持相对指针运动和复合操作,并在 6,044 条精选轨迹上进行监督微调初始化。

    推荐理由:该工作提出 Player-1 框架,利用合成数据与复合动作提升游戏控制能力,为通用数字代理训练提供新路径。

  10. arXiv · 机器人与计算机视觉82

    Look Before You Restore:行动前预测的代理图像复原框架

    论文介绍 PreActIR 框架,该框架通过工具条件世界模型在执行前预测残差退化、图像质量及风险,并由独立验证器决定是否提交或回滚输出。实验显示,在固定候选池与预算下,该方法比试错方法减少 42.5% 真实工具调用和 63.4% 被拒绝调用,同时提升 Y-PSNR 0.92 dB。材料为 arXiv 预印本,处于审稿中。

    推荐理由:提出 PreActIR 框架,在固定候选池与预算下比试错方法减少 42.5% 真实工具调用并提升 Y-PSNR。

  11. arXiv · 机器人与计算机视觉78

    VisualWorldBench:面向 MLLM 的视觉世界知识细粒度多任务评测基准

    针对现有视觉基准类别覆盖窄、任务构建不严的问题,作者提出了 VisualWorldBench。该基准基于包含 21,291 个叶节点的层级分类体系,涵盖 8 个视觉领域,构建了 32,541 个评估实例。

    推荐理由:该基准通过细粒度分类与多任务设计,揭示了现有模型在视觉世界知识上的能力缺口。

  12. arXiv · 机器人与计算机视觉85

    SAM3RL:基于强化学习的视觉目标跟踪记忆控制

    该论文提出了 SAM3RL,一种针对 Segment Anything Model 3 的扩展,通过强化学习训练轻量级控制器来优化视频对象分割中的记忆管理策略。

    推荐理由:提出用强化学习训练轻量级控制器优化 SAM3/SAM2 的记忆管理,在多项基准上超越手工规则且无运行时开销。

  13. arXiv · 机器人与计算机视觉82

    基于不确定性的自博弈用于鲁棒多智能体驾驶策略研究

    针对运动规划中泛化性不足的挑战,本文提出一种不确定性驱动的自博弈方案。一半智能体奖励增加邻居的认知不确定性以探索弱点,另一半学习安全驾驶。该方法利用认知不确定性作为难度代理,自动生成挑战性子集,无需人工设计场景。

    推荐理由:提出不确定性驱动的自博弈方案,利用认知不确定性作为难度代理实现自动课程学习,在 nuplan 和 Argoverse 2 上零样本迁移效果优于标准自博弈。

  14. arXiv · 机器人与计算机视觉78

    CORE:基于大模型对比反思的自监督提示优化用于异常合成

    论文 CORE 针对工业异常检测中缺陷样本稀缺的问题,提出一种无需训练且成本高效的提示优化框架,统一支持零样本与单样本异常合成。该方法通过异常上下文定位模块将稀疏用户输入转化为缺陷感知生成上下文,并解耦正常区域保持与异常特异性变化;同时利用自监督对比反思机制自主优化提示词。

    推荐理由:该工作提出无需训练的提示优化框架,统一零样本与单样本异常合成,在 MVTec-AD 和 VisA 数据集上验证了下游检测性能提升。

  15. arXiv · 机器人与计算机视觉78

    Dungeon and Visibility World Generator 开源框架发布

    Dungeon and Visibility World Generator 是一个开源框架,用于构建可复现的二维和三维环境并评估几何视线。该工具支持正交、多边形/多面体及曲线几何,涵盖六种构造家族(如分散房间、蜿蜒通道等),允许通过参数控制房间尺寸与障碍物布局。

    推荐理由:该框架提供可复现的二维三维环境生成与视线查询工具,支持多种几何类型与参数控制,适合机器人探索、覆盖及多智能体部署算法的评估。

  16. arXiv · 机器人与计算机视觉78

    Spectral World Renderer:统一 3D 高光谱解混的新方法

    针对现有高光谱解混在 3D 场景中缺乏已知成分多视图数据验证的问题,作者提出 Spectral World Renderer (SWR),通过编码智能体构建可执行的 3D 世界并使用测量光谱渲染,使每张高光谱图像均附带精确标签与亚像素比例。

    推荐理由:提出将世界生成与光谱解混统一的渲染框架,提供带精确标签的基准数据集及加速训练方案。

  17. arXiv · 机器人与计算机视觉78

    ActICL:面向代理多模态上下文学习的后训练方法

    论文介绍 ActICL,一种通过工具增强推理让多模态大语言模型(MLLM)自主判断信息缺口并渐进式检索演示样本的后训练方法。该方法在七个基准测试上平均性能提升 11.6 个百分点,优于标准相似度检索;其构建的上下文也能有效赋能前沿模型如 GPT-5.6-Sol。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。

    推荐理由:提出 ActICL 方法,通过工具增强推理让 MLLM 自主判断并渐进式检索演示样本,在七个基准测试上平均提升 11.6 个百分点。

  18. arXiv · 机器人与计算机视觉85

    VideoHarness-SRSI:面向视频理解的结构化递归自我改进框架

    该论文针对智能体视频理解任务,研究如何从有限噪声反馈中可靠发现通用系统。作者首先提出 VideoHarness-BRSI 框架,但在分析 4000 多个候选方案时发现验证过拟合、搜索预算稀释和早期经验陷阱等失效模式。

    推荐理由:提出证据治理框架解决验证过拟合与搜索预算稀释问题,在四个基准测试中提升均分并缩小验证差距。

  19. arXiv · 机器人与计算机视觉78

    WinARDet:用于长视界视觉语言定位的压缩窗口自回归方法

    该研究针对多模态大模型在密集场景中因历史答案注意力接管导致的坐标重复生成问题,提出了压缩窗口自回归(WinAR)机制。该方法将长序列划分为连续生成窗口,仅对当前窗口进行全 token 级自回归,并将前序窗口压缩为固定数量的潜在 token 以条件化后续解码。

    推荐理由:针对密集场景下多模态大模型检测器的坐标生成循环崩溃问题,提出压缩窗口自回归机制以平衡历史依赖与注意力分配。