上海 AI 实验室发布书生-S2 多模态大模型并破解三维 Ghys 猜想
上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。
推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。
技术方向
真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。
482 条精选近 30 天 361 条共收录 3,060 条
上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。
推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。
该研究针对 Vision Transformers 二次方 token 交互带来的高计算成本问题,提出了 Prune-and-Merge 这一无需训练即可应用于现成模型的框架。
推荐理由:提出无需训练的 ViT 剪枝合并框架,在降低计算成本的同时保持鲁棒性与精度。
RealityBench 是一个在 Blender 中构建的包含十一类物理工作环境(如屋顶太阳能安装、车辆维修)的评测基准,旨在评估视觉语言模型记录人类体力工作的能力。
推荐理由:该研究在 Blender 中构建了十一类物理工作场景,对 26 个 VLM 模型进行文档化能力评测,揭示了其在读取测量值和判断空间关系上的短板。
Jacob Beattie 等人提出一种基于稀疏自编码器的方法论,旨在从视觉基础模型中挖掘候选特征以支持开放式的科学发现,无需针对特定概念的监督。
推荐理由:该论文提出利用稀疏自编码器对视觉基础模型进行无监督特征挖掘,在三个数据集上验证了发现已知概念及潜在诊断特征的能力。
针对少样本识别中因缺乏验证数据导致模型过拟合的问题,本文提出一种多目标优化验证策略,在提升 ID 任务性能的同时保持对检索 OOD 数据的泛化能力。作者将验证问题形式化为 Pareto 前沿上的操作点选择,并集成到分阶段微调流程 VEST 中。实验表明该方法在五个基准测试的 ID 和 OOD 数据上均优于现有方法。
推荐理由:提出将检索数据作为验证集的多目标优化策略,解决少样本微调中的过拟合与泛化难题。
论文针对多模态代码智能领域数据质量与生成管线受限的问题,提出 PrismaForge 分层数据管道,利用分解式评分标准同时作为过滤与奖励机制来构建高质量数据集。基于此构建了 PrismaCoder-2M 最大规模开放数据集,并训练发布 PrismaCoder-9B 和 PrismaCoder-35B 模型,在开源领域大幅领先现有水平且媲美主流闭源系统。代码与数据已公开。
推荐理由:提出基于分解式评分标准的数据合成管道,构建最大规模开放数据集并训练出领先开源界的代码智能模型。
Josh Barua 等人提出一种基于贝叶斯视角的两参数线索组合模型,用于解释视觉语言模型(VLM)如何处理文本与图像之间的冲突证据。该研究将模态偏好建模为条件独立证据的整合过程,并引入模态特异性偏差项。实验表明,该模型无需重新拟合即可准确预测 VLM 在不同输入退化条件下的行为,并能泛化到新的不可靠性形式,成功统一了关于文本主导与视觉主导的现有报告。
推荐理由:该工作提出两参数线索组合模型,从贝叶斯视角解释 VLM 如何整合冲突证据并预测模态偏好。
针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。
推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。
针对现有表示对齐方法在后期层难以有效获取语义的问题,提出一种名为 RECON 的简单解决方案。该方法在训练阶段将预训练视觉编码器 token 输入到后期层;推理阶段复用 MLP 头作为代理并投影输出 token。实验表明,RECON 无需增加任何参数,收敛速度比 SiT 快 63 倍,比 REPA 快 25 倍。代码已开源。
推荐理由:提出无需增加参数的表示条件化方法,显著加速扩散 Transformer 训练收敛。
该论文介绍 Player-1 框架,旨在超越演示数据限制,通过学习合成经验来提升计算机智能体的游戏控制能力。研究扩展了动作空间以支持相对指针运动和复合操作,并在 6,044 条精选轨迹上进行监督微调初始化。
推荐理由:该工作提出 Player-1 框架,利用合成数据与复合动作提升游戏控制能力,为通用数字代理训练提供新路径。
论文介绍 PreActIR 框架,该框架通过工具条件世界模型在执行前预测残差退化、图像质量及风险,并由独立验证器决定是否提交或回滚输出。实验显示,在固定候选池与预算下,该方法比试错方法减少 42.5% 真实工具调用和 63.4% 被拒绝调用,同时提升 Y-PSNR 0.92 dB。材料为 arXiv 预印本,处于审稿中。
推荐理由:提出 PreActIR 框架,在固定候选池与预算下比试错方法减少 42.5% 真实工具调用并提升 Y-PSNR。
针对现有视觉基准类别覆盖窄、任务构建不严的问题,作者提出了 VisualWorldBench。该基准基于包含 21,291 个叶节点的层级分类体系,涵盖 8 个视觉领域,构建了 32,541 个评估实例。
推荐理由:该基准通过细粒度分类与多任务设计,揭示了现有模型在视觉世界知识上的能力缺口。
该论文提出了 SAM3RL,一种针对 Segment Anything Model 3 的扩展,通过强化学习训练轻量级控制器来优化视频对象分割中的记忆管理策略。
推荐理由:提出用强化学习训练轻量级控制器优化 SAM3/SAM2 的记忆管理,在多项基准上超越手工规则且无运行时开销。
针对运动规划中泛化性不足的挑战,本文提出一种不确定性驱动的自博弈方案。一半智能体奖励增加邻居的认知不确定性以探索弱点,另一半学习安全驾驶。该方法利用认知不确定性作为难度代理,自动生成挑战性子集,无需人工设计场景。
推荐理由:提出不确定性驱动的自博弈方案,利用认知不确定性作为难度代理实现自动课程学习,在 nuplan 和 Argoverse 2 上零样本迁移效果优于标准自博弈。
论文 CORE 针对工业异常检测中缺陷样本稀缺的问题,提出一种无需训练且成本高效的提示优化框架,统一支持零样本与单样本异常合成。该方法通过异常上下文定位模块将稀疏用户输入转化为缺陷感知生成上下文,并解耦正常区域保持与异常特异性变化;同时利用自监督对比反思机制自主优化提示词。
推荐理由:该工作提出无需训练的提示优化框架,统一零样本与单样本异常合成,在 MVTec-AD 和 VisA 数据集上验证了下游检测性能提升。
Dungeon and Visibility World Generator 是一个开源框架,用于构建可复现的二维和三维环境并评估几何视线。该工具支持正交、多边形/多面体及曲线几何,涵盖六种构造家族(如分散房间、蜿蜒通道等),允许通过参数控制房间尺寸与障碍物布局。
推荐理由:该框架提供可复现的二维三维环境生成与视线查询工具,支持多种几何类型与参数控制,适合机器人探索、覆盖及多智能体部署算法的评估。
针对现有高光谱解混在 3D 场景中缺乏已知成分多视图数据验证的问题,作者提出 Spectral World Renderer (SWR),通过编码智能体构建可执行的 3D 世界并使用测量光谱渲染,使每张高光谱图像均附带精确标签与亚像素比例。
推荐理由:提出将世界生成与光谱解混统一的渲染框架,提供带精确标签的基准数据集及加速训练方案。
论文介绍 ActICL,一种通过工具增强推理让多模态大语言模型(MLLM)自主判断信息缺口并渐进式检索演示样本的后训练方法。该方法在七个基准测试上平均性能提升 11.6 个百分点,优于标准相似度检索;其构建的上下文也能有效赋能前沿模型如 GPT-5.6-Sol。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
推荐理由:提出 ActICL 方法,通过工具增强推理让 MLLM 自主判断并渐进式检索演示样本,在七个基准测试上平均提升 11.6 个百分点。
该论文针对智能体视频理解任务,研究如何从有限噪声反馈中可靠发现通用系统。作者首先提出 VideoHarness-BRSI 框架,但在分析 4000 多个候选方案时发现验证过拟合、搜索预算稀释和早期经验陷阱等失效模式。
推荐理由:提出证据治理框架解决验证过拟合与搜索预算稀释问题,在四个基准测试中提升均分并缩小验证差距。
该研究针对多模态大模型在密集场景中因历史答案注意力接管导致的坐标重复生成问题,提出了压缩窗口自回归(WinAR)机制。该方法将长序列划分为连续生成窗口,仅对当前窗口进行全 token 级自回归,并将前序窗口压缩为固定数量的潜在 token 以条件化后续解码。
推荐理由:针对密集场景下多模态大模型检测器的坐标生成循环崩溃问题,提出压缩窗口自回归机制以平衡历史依赖与注意力分配。