跳到正文
10月16日周五
  1. Hugging Face Daily Papers80

    CoWorld Reasoner:基于演进式视频世界模型的代理多模态推理

    论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。

    推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。

  2. 盖世汽车 · 汽车资讯60

    小米、百度联合注资成立5个月的 Physical AI 初创公司 Simate

    上海初光跃迁智能科技有限公司(Simate)近日完成工商变更,小米旗下瀚星创投与百度旗下三亚百川致新成为股东,创始人张颖接任法定代表人。该公司定位为 Physical AI 企业,研发方向为“AI for Physical AI”,技术路线采用物理智能递归自我改进(Physical RSI)。

  3. arXiv · 机器人与计算机视觉82

    任何地球观测任务均可转化为递归自我改进:人类构建的最后遥感模型?

    该论文提出一种新范式,将地球观测(EO)模型的构建与优化工作交给通用编码智能体完成。通过定义‘夹具’(harness)和‘验证器’(verifier),任何可验证的 EO 任务都能被转化为智能体的训练目标。

    推荐理由:提出将地球观测任务转化为智能体可执行的闭环框架,在六个基准上超越现有方法,且仅需 11% 的训练标签即可实现土地覆盖映射。

  4. arXiv · 机器人与计算机视觉42

    TwinPrune:面向视觉语言模型的密度感知两阶段 Token 剪枝方法

    TwinPrune 提出统一空间密度信号,分别优化预填充阶段的二分合并与解码阶段的 KV 驱逐,在七种模型变体上实现算力、内存与精度的帕累托最优。该方法以 0.125 保留率在 TextVQA 任务上超越 H2O 基线 9.6 分,且压缩效率随模型规模增大而提升。代码已开源,建议将 MM-Vet 或 DocVQA 作为解码阶段剪枝的强制验证基准。

  5. arXiv · 机器人与计算机视觉67

    EV-JEPA:面向任意设备及跨设备推理的弹性 V-JEPA 模型

    arXiv 论文介绍 EV-JEPA,一种单次训练即可在智能眼镜、手机、机器人及服务器等异构边缘 - 云端连续体上部署的视觉基础模型。该模型具备可重构宽度和原生跨设备分区能力,核心采用过渡感知三元组训练(T3),使同一权重同时支持单设备和跨设备执行。

  6. arXiv · 机器人与计算机视觉72

    DroneCATS:一种评估多模态大模型作为无人机通用视觉语言动作代理的基准

    论文提出了 DroneCATS 基准,用于评估多模态大模型(MLLMs)在控制无人机执行指挥、接近、跟踪和搜索任务时的表现。研究涵盖了从前沿模型到小型开源模型的十种 MLLM,并在仿真与真实无人机上测试了单架及多机协同场景。结果显示,虽然前沿模型成功率最高但受延迟影响难以锁定移动目标,而经过微调的小型模型在真机上表现更优。作者将完全开源该基准。

  7. arXiv · 机器人与计算机视觉33

    FADRA:面向视频人脸复原的频率感知扩散与残差自适应框架

    FADRA 提出一种频率感知扩散框架,利用预训练文生视频模型的时间一致性并通过轻量 LoRA 适配器及低质量像素对齐特征融合模块适应任务。该方法引入重复残差自适应头与频域感知损失,在保持结构完整性的同时恢复精细面部细节并抑制时间抖动。实验表明其在量化指标和视觉感知上均优于最先进方法,项目页面已公开。

  8. arXiv · 机器人与计算机视觉66

    Spectrum Matching:一种用于提升潜在扩散模型可学习性的统一视角

    本文研究变分自编码器在潜在扩散中的可学习性(diffusability),推导了像素空间去噪损失的无分布界,并提出频谱匹配假设:潜变量应遵循平坦的幂律功率谱密度以保留低频增益,并通过解码器保持频率到频率的语义对应。实验表明该方法在 CelebA 和 ImageNet 上优于先前方法,同时扩展了表示对齐(REPA)的谱域视角并提出了 DoG 基改进方法。代码与多 VAE 仓库已开源。

  9. arXiv · 机器人与计算机视觉52

    InkSight:通过教视语言模型读写实现离线到在线手写转换

    InkSight 旨在弥合数字笔记与传统纸笔笔记之间的差距,提出将物理手写(离线)转换为数字墨水(在线)的去渲染方法。该工作结合阅读和写作先验,允许在缺乏大量配对样本的情况下训练模型,据称是首个能有效处理具有多样化视觉特征和背景的手写文本照片并泛化到简单素描的研究。

  10. arXiv · 机器人与计算机视觉78

    Mallea:基于代码智能体的世界构建、引导与记忆系统

    arXiv 论文介绍 Mallea 系统,该系统利用编码智能体从文本提示中推断物体交互需求,联合规划物体结构、属性及规则以支持紧凑表示。系统通过生成式渲染器结合当前结构与记忆的纹理外观来推进世界状态,并允许用户动作引导演化或编辑属性而不影响现有状态。材料为预印本版本,未报告真实机器人部署结果。

    推荐理由:原文提出 Mallea 系统,通过编码智能体构建可编辑的文本驱动世界模型,支持对象交互规划与纹理记忆。

  11. arXiv · 机器人与计算机视觉42

    TRACE:面向薄结构分割的拓扑感知重连目标

    TRACE 提出一种利用目标骨架定义连接需求、随预测自适应调整监督的重连目标,以解决薄状结构易受连通性错误影响的问题。该方法引入拓扑感知骨架载体保留前景与类别特定拓扑,在六个二维及三维基准实验中提升了连通性与拓扑保持能力,同时维持高分割精度且训练开销低。代码将在论文被接收后发布。

  12. arXiv · 机器人与计算机视觉78

    Comfortably Stuck:Bench2Drive 闭环评估协议的陷阱与修正方案

    论文指出 Bench2Drive 基于 CARLA 的闭环评估协议存在严重缺陷:其舒适度指标因实现错误和奖励静止的策略,导致评分与实际驾驶表现相关性极低;导航信号供给机制也存在控制器替换转向及训练/测试目标点不一致的问题。作者通过实验验证了这些陷阱对 UniAD 等模型的影响,并发布了独立的修正代码,允许在不重新运行仿真复现的情况下获取更准确的舒适度分数。

    推荐理由:原文指出 Bench2Drive 闭环评估协议存在指标实现错误与导航信号供给缺陷,导致评分失真,并提供了修正后的距离基线代码。

  13. arXiv · 机器人与计算机视觉72

    TRACE:基于类型化参考感知的对话式人形运动扩散编辑

    该论文提出 TRACE 框架,旨在解决将未充分定义的语言请求转化为具体可修订的运动结构这一挑战。研究围绕宇树 G1 人形机器人构建,利用成对的训练运动和当前运动作为监督信号,通过语言模型预测支撑、根部和手部事件的时间对齐编码,结合重力参考状态与轨迹接触目标来改善运动学一致性。

  14. arXiv · 机器人与计算机视觉68

    ManiFusion:基于流形空间融合的扩散模型高吞吐生成方法

    论文提出 ManiFusion 框架,通过在去噪骨干网络前融合多个样本并在其后解融合,实现多样本并行生成。该方法利用轨迹融合调度(TFS)动态调整融合因子以对齐去噪阶段,适用于 U-Net 和 Transformer 架构的像素及潜在空间模型,并与现有加速方法兼容,在最小质量损失下达到更高吞吐量。

  15. arXiv · 机器人与计算机视觉66

    Fast-VLA:一次思考完成机器人操作

    arXiv 发布 Fast-VLA 论文,提出在每集开始时调用一次冻结的 4B VLM 建立固定任务记忆,执行阶段由轻量在线演员融合视觉与本体反馈预测动作,无需重复运行基础模型。该方法在 RoboTwin 2.0 和 LIBERO 评测中分别取得最高 95.95% 的成功率,并将推理时间相比持续条件基线降低 10.9-17.1 倍。材料为预印本,未提及同行评审状态或开源代码仓库。

  16. arXiv · 机器人与计算机视觉72

    ReState:面向少步扩散模型的免训练物体移除中的噪声感知状态修正

    论文指出免训练物体移除常因注意力重定向导致目标区域残留,且结构化预测与后续修正存在时序不匹配。作者提出 ReState 方法,利用输入检索背景证据并通过噪声水平感知权重对掩码内的清洁预测进行状态修正,同时保留排除物体的注意力作为约束且不增加去噪器评估。

  17. arXiv · 机器人与计算机视觉68

    UltraDiff:将高保真先验转移至压缩潜空间以实现高分辨率图像生成

    论文提出了 UltraDiff 框架,旨在解决潜在扩散模型在高分辨率合成中计算成本与生成保真度之间的权衡问题。该方法通过联合潜在扩散学习与边际分数蒸馏,引入 MixTeacher 双分支 DiT 利用共享注意力解决压缩空间的模糊性,并在原生 f32 空间进行向量场蒸馏以过滤压缩伪影。

  18. arXiv · 机器人与计算机视觉68

    多维特征提取器实现机器人基础模型的细粒度控制与数据塑形

    该论文研究如何通过恢复模型内部的低维子空间结构来理解与控制具身智能行为。作者提出块稀疏特征提取器(BSFs),成功识别出感知、语言、本体状态等任务相关特征,并通过微调干预验证了因果性。此外,利用基于特征的数据归因方法,仅需屏蔽不到 1.4% 的训练 token 即可移除特定失败恢复行为,为理解与改变机器人行为提供了有效工具。

  19. Hugging Face Daily Papers82

    3DCodeVerse:构建可执行 3D 代码的研究生态系统

    论文介绍了 3DCodeVerse 研究生态,包含大规模可执行 3D 代码数据集 3DCodeVerse-2M、用于空间推理与自动验证的多智能体框架 Harness 以及实践指南。

    推荐理由:该工作构建了可执行的 3D 代码数据集与多智能体验证框架,显著提升了开源模型的 3D 编码能力。

  20. Hugging Face Daily Papers84

    Gemini 4 Argon 智能体团队在 Minecraft 中实现端到端自主通关

    该研究将四个 Gemini 4 Argon 智能体置于受控的 Minecraft 生存世界,赋予其唯一目标:击败末影龙。每个智能体通过开源库 Mineflayer 控制玩家,利用游戏内聊天和共享记忆进行协作,未分配角色或编写游戏逻辑。

    推荐理由:该预印本报告了四个 Gemini 4 Argon 智能体在无预设种子和人工干预下,于 Minecraft 沙盒中自主击败末影龙的实验过程与策略。

  21. Hugging Face Daily Papers58

    EvalResearchBench:AI Agent 能否自主构建反馈以实现递归自我改进?

    针对复杂基准测试运行成本高、迭代慢的问题,本文引入 EvalResearchBench(ERB),研究 AI Agent 是否能在给定材料、API 及预算约束下自动设计评估任务与评分器。实验对比了 9 名研究者与 13 个候选模型生成的评估器在 14 个目标基准上的表现,发现最佳评估器对约 75% 的候选对排序与目标一致,且开发集最优者未必在密封测试集上最优。

  22. The Decoder · Robotics75

    Google 推出 Gemini 4 Argon 作为机器人唯一所需模型

    Google 发布 Gemini 4 Argon,旨在成为覆盖机器人控制、虚拟世界构建及训练视频评估的统一模型。演示中,该模型结合 MuJoCo 仿真与 AI 代理验证,将波士顿动力 Spot 机器人的任务成功率从 56% 提升至 75%,执行时间缩短至 24 秒;在 ERQA 基准测试中以 87% 的得分领先其他前沿模型。

  23. arXiv · 机器人与计算机视觉82

    EmbodiedEvo:一种用于物理智能的自进化编码智能体

    论文介绍 EmbodiedEvo 框架,这是一种通过程序化机器人接口观察场景、执行控制并适应物理状态的自进化编码智能体。该方法将交互与推理预算转化为可复用的代码技能(Skills)和诊断教训(Lessons),在不更新模型权重的情况下冻结经验以支持未见场景中的独立智能体。

    推荐理由:该工作提出无需微调的自进化编码智能体,将物理反馈蒸馏为可复用技能与诊断教训,在仿真环境中实现经验跨场景迁移。

  24. arXiv · 机器人与计算机视觉68

    AVA-Encoder:面向智能体的视频表征学习

    针对现有智能体视频生成系统难以统筹故事、角色与视听元素的问题,论文提出 Agentic Video Auto-Encoder(AVA-Encoder)。该方法将成品电影逆向编码为包含结构化文本节点、类型化依赖边及多模态资产链接的电影知识图谱(Film KG),并利用固定解码器从图谱再生成影片。

  25. arXiv · 机器人与计算机视觉65

    CorrelationFlow:一种用于 LiDAR 场景光流的免训练几何方法

    arXiv 论文 CorrelationFlow 提出将 LiDAR 场景光流估计重构为鸟瞰图(BEV)图像间的相关性最大化问题,采用图像处理链替代可学习参数。该方法无需训练即具备强泛化能力,在 CVPR 2026 Argoverse 2 无监督赛道获得第二名,测试集涵盖五种数据集及多种车辆平台与环境。作者认为经典模型方法可匹敌甚至超越学习方法,源代码将发布。

  26. arXiv · 机器人与计算机视觉78

    面向开放-ended 视觉科学发现的稀疏自编码器方法

    Jacob Beattie 等人提出一种基于稀疏自编码器的方法论,旨在从视觉基础模型中挖掘候选特征以支持开放式的科学发现,无需针对特定概念的监督。

    推荐理由:该论文提出利用稀疏自编码器对视觉基础模型进行无监督特征挖掘,在三个数据集上验证了发现已知概念及潜在诊断特征的能力。

  27. arXiv · 机器人与计算机视觉53

    A LoRA is Worth a Thousand Pictures:一种无需生成图像的 LoRA 风格分析方法

    针对基于图像特征(如 CLIP)分析 LoRA 模型风格需额外计算且依赖提示词的问题,本文提出直接在 LoRA 权重空间分析风格的方法。该方法在 SD1.5 和 SDXL 基座上进行了广泛评估,证实了仅凭权重即可有效表征适应后的风格,且在未见过的 LoRA 聚类与检索任务中优于图像生成方法。

  28. arXiv · 机器人与计算机视觉82

    GroundGUI:基于高质量数据与蒸馏强化学习的 GUI 定位模型

    针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。

    推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。

  29. arXiv · 机器人与计算机视觉78

    All-St3R SLAM:基于像素级运动掩膜的实时 RGB 动态 SLAM

    该论文提出 All-St3R SLAM 框架,旨在解决现有动态 SLAM 存在的过度去除和计算成本高问题。系统结合 DUSt3R 的自运动预测与 All-Tracker 的点跟踪结果,仅分析两者差异来移除当前运动的像素区域,允许暂时静止部分用于跟踪。

    推荐理由:该工作提出无需预定义标签的像素级运动掩膜方法,在仅用 RGB 输入下实现约 10 FPS 实时动态 SLAM,优于现有稠密方法。

  30. arXiv · 机器人与计算机视觉36

    CoWear:面向多智能穿戴设备的协同惯性定位数据集与基准框架

    CoWear 提供包含超 30 名参与者、超 300 次行走会话及超 30 小时/100 公里轨迹的智能手机、智能手表和智能眼镜协同惯性定位数据集。该框架通过训练角色特定估计器预测公共参考设备位移,并利用陀螺仪积分转换至世界坐标系融合不确定性。实验表明,相比单设备估计,多设备融合在位移与轨迹展开精度上均持续提升,为异构消费级穿戴设备的协同研究提供可复现基线。

  31. arXiv · 机器人与计算机视觉78

    TacClaw-Infinity:用于灵巧操作的大规模视觉 - 触觉 - 语言 - 动作数据集

    作者发布了 TacClaw-Infinity,这是一个针对接触丰富操作任务的大规模结构化 VTLA 数据集。数据通过分布式采集获得,涵盖家庭、实验室及工业场景,包含超过 10,000 小时视频、100 万集数和 10 亿帧画面,涉及千余种任务类型。研究团队开发了可扩展的轨迹重建与多模态质量控制流程,并验证了该数据集在三种异构机器人上的跨本体迁移能力,证明其无需特定机器人演示即可支持模型训练。

    推荐理由:该工作发布了一个大规模触觉 - 视觉 - 语言 - 动作数据集,支持跨本体迁移且无需特定机器人演示。

  32. arXiv · 机器人与计算机视觉68

    ObjDream:基于物体级理解与未来状态预测引导视觉语言动作模型

    针对现有视觉语言动作模型依赖图像级表征且缺乏细粒度物体理解的问题,该研究提出了 ObjDream 框架。该方法利用时空物体编码器将观测组织为时间槽,并通过身份引导的路由机制调制注意力;同时引入动作条件的对象动力学模块预测紧凑的未来状态以监督演化过程。

  33. arXiv · 机器人与计算机视觉38

    GDBA-Net:一种用于鲁棒跨域细胞核分割的 SAM2 门控双分支适配方法

    针对组织制备差异导致的领域偏移问题,GDBA-Net 通过冻结 SAM2 编码器并引入门控双分支适配器实现高效微调。该框架仅含 430 万可训练参数,在六个基准测试的完全监督、跨数据集及五样本适应协议下均优于 CNN 与基础模型方法。消融实验证实性能提升源于语义 - 频率互补性与自适应门控设计的协同作用,而非单纯增加模型容量。