何恺明团队新作:看猫片就能学会ARC挑战
何恺明团队发布论文NAT-ARC,提出一套纯视觉的ARC解题方案。该方案不依赖LLM,利用ImageNet上的自然图像(如猫狗)进行MAE预训练以获取视觉先验,再迁移至抽象格子推理任务。
推荐理由:何恺明团队提出NAT-ARC,利用ImageNet预训练打破纯视觉模型在抽象推理任务上的scaling瓶颈。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
何恺明团队发布论文NAT-ARC,提出一套纯视觉的ARC解题方案。该方案不依赖LLM,利用ImageNet上的自然图像(如猫狗)进行MAE预训练以获取视觉先验,再迁移至抽象格子推理任务。
推荐理由:何恺明团队提出NAT-ARC,利用ImageNet预训练打破纯视觉模型在抽象推理任务上的scaling瓶颈。
该论文提出 DMAD 方法,将分布匹配重铸为分类问题以直接学习对数密度比,无需拟合额外的学生分布模型。该方法通过共享骨干网络上的两个判别器头区分真实数据、教师样本与学生样本,并利用基于差距的重加权策略适应不同噪声水平的教师监督。
推荐理由:该工作将分布匹配重构为分类任务,消除了对辅助扩散模型的依赖并实现一步生成。
论文介绍了一种针对多模态大语言模型的自蒸馏新方法 Where-OPD,利用程序化生成的合成场景提供自动获取的物体身份与空间坐标作为教师的文本空间引导。该方法使教师能定位并整合多个相关图像区域的证据,学生则仅凭图像和问题学习复现该行为。
推荐理由:提出利用程序化生成场景的文本空间引导进行自蒸馏,在纯合成数据上实现了对真实世界感知基准的有效迁移。
该论文提出 LOCI 架构,通过结合关键值缓存与受相机几何条件约束的循环线性注意力记忆,解决视频世界模型在长序列中保留细节与降低显存的需求。实验显示其在重访内容还原上优于主流基线,且在固定预算下能流式处理长视频。
推荐理由:提出混合空间记忆架构,在保持视觉细节的同时降低显存占用并提升重访内容还原度。
该论文指出用扩散模型生成的合成图像对 DreamBooth 进行微调会因分类器自由引导(CFG)导致高频细节过度饱和并降低主体保真度。作者提出 ReGain,一种无需真实照片的采样时修正方法,通过测量各频率带相对于基模型的引导膨胀程度并进行缩放来恢复保真度。
推荐理由:针对合成图像微调导致主体保真度下降的问题,提出无需真实照片的采样时修正方法 ReGain。
论文提出 Gated Token Recurrence (GTR),这是一种无需全局 Softmax 注意力的循环视觉骨干网络,结合了门控线性注意力、交替空间扫描方向和增强 SwiGLU 块。
推荐理由:提出无 softmax 的循环骨干网 GTR,通过蒸馏 DINOv3 实现高效稠密预测与多任务迁移。
MIT CSAIL 与天津大学联合开发 X-Hinges 设计软件,旨在将日常静止物品转化为具备自我意识的交互工具。该软件允许用户在自定义设计时自动嵌入两种不同材料:一种用于发送最强信号的传感器,另一种用于不产生干扰的导线状元素,从而解决传统同材打印导致的信号混淆问题。
推荐理由:MIT CSAIL 与天津大学联合推出 X-Hinges 设计软件,支持在 3D 打印中自动嵌入双材料传感器以解决信号干扰问题。
上海人工智能实验室发布『书生』物理世界模型W0,旨在为大模型进入物理世界提供支撑。该模型原生融合视觉、力觉和触觉,采用双工协同架构实现输入输出并行处理,并通过异步异频设计让规划与实时行动解耦。
推荐理由:上海AI实验室发布『书生』物理世界模型W0,原生融合力触视觉并采用双工协同与异步异频架构,在双臂湿实验任务中实现93.12%成功率与超低延迟。
MIT CSAIL、Google 和东北大学联合开发的 InstructMesh 工具,结合 Microsoft TRELLIS 系统与 GPT-4 大语言模型,允许用户通过自然语言提示生成并编辑 3D 设计。
推荐理由:MIT CSAIL 联合 Google 等推出 InstructMesh,结合 TRELLIS 与 GPT-4 实现可编辑的生成式 3D 设计工具。
Google DeepMind 今日在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出代理式视频理解(agentic video understanding)功能。
推荐理由:DeepMind 在 Gemini Flash 系列中引入代理式视频理解,通过动态检索与多模态分析显著降低长视频处理成本并提升精度。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
OpenCV Live 播客介绍由 Intrinsic 和夏威夷大学作者提出的 3D-Object Perception Transformer(3PT),该架构将检测、分割和 6DoF 位姿估计统一为两个仅用 RGB 的多视图 Transformer。
推荐理由:OpenCV Live 播客介绍 3PT 架构及其在 BOP 2025 竞赛中的表现,并分享从基准测试到工业部署的工程经验。
Google DeepMind 发布多语言手语转文本(SL2T)模型,首次将其集成至 Pixel 11 的 Gboard 和 Live Transcribe 应用中,支持美国手语(ASL)到英语的实时翻译。
推荐理由:DeepMind 推出首个消费级手语转文本模型 SL2T,集成于 Pixel 11 Gboard 与 Live Transcribe,支持 ASL 到英语翻译。
Google DeepMind 正式发布 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型。
推荐理由:DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 及 Cyber 版本,提供具体性能指标与定价以支持规模化 AI Agent 构建。
Orbbec 在上海世界人工智能大会(WAIC)上发布了与蚂蚁集团具身智能公司 Robbyant 合作研发的“无机器人数据采集硬件平台”,核心产品为基于 Gemini 330 系列相机的 EGO RGB-D 头戴式采集设备。
推荐理由:Orbbec 发布面向物理 AI 的无机器人数据采集硬件平台,其深度增强模型在多项基准测试中表现领先。
Orbbec 与蚂蚁集团 Robbyant 深化合作,Robbyant 发布下一代空间感知模型 LingBot-Depth 2.0,该模型已通过 Orbbec 深度视觉实验室认证。
推荐理由:Orbbec 与蚂蚁集团 Robbyant 联合发布经认证的 LingBot-Depth 2.0 深度补全模型,结合 Gemini 330 相机硬件解决透明物体等复杂场景感知难题。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)。
推荐理由:DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash,提供高速图像生成与视频编辑能力,支持开发者构建端到端多媒体工作流。
Google DeepMind 宣布 Gemini 3.5 Flash 模型原生集成了电脑使用功能,取代了此前独立的专用模型版本,使开发者能利用该模型构建能在浏览器、移动和桌面环境中感知、推理并执行操作的智能体。材料指出该功能旨在提升长周期和企业级自动化任务(如持续软件测试)的性能,并提供了针对提示注入风险的对抗训练及可选的企业安全防护系统。
推荐理由:原文宣布 Gemini 3.5 Flash 原生集成电脑使用能力,开发者可借此构建跨平台智能体以执行长周期自动化任务。
Orbbec 与 Creality 在创想三维 12 周年发布会上联合推出 Pika,这是一款由 Orbbec 核心技术驱动的下一代 AI 便携式 3D 扫描仪。
推荐理由:Orbbec 与 Creality 联合发布口袋级 AI 扫描仪 Pika,集成全局快门与双模传感技术,支持手机直连操作。
Luxonis 发布 DepthAI Core v3.6.1,核心更新包括默认开启 AutoCalibration 并新增 IMU 校准功能,统一传感器输出格式。
推荐理由:深度相机核心库 v3.6.1 默认开启自动校准并支持 IMU,同时新增 YOLO26 与 NeuralDepth 模型以显著提升推理帧率。