CoWorld Reasoner:基于演进式视频世界模型的代理多模态推理
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。
上海初光跃迁智能科技有限公司(Simate)近日完成工商变更,小米旗下瀚星创投与百度旗下三亚百川致新成为股东,创始人张颖接任法定代表人。该公司定位为 Physical AI 企业,研发方向为“AI for Physical AI”,技术路线采用物理智能递归自我改进(Physical RSI)。
该论文提出一种新范式,将地球观测(EO)模型的构建与优化工作交给通用编码智能体完成。通过定义‘夹具’(harness)和‘验证器’(verifier),任何可验证的 EO 任务都能被转化为智能体的训练目标。
推荐理由:提出将地球观测任务转化为智能体可执行的闭环框架,在六个基准上超越现有方法,且仅需 11% 的训练标签即可实现土地覆盖映射。
TwinPrune 提出统一空间密度信号,分别优化预填充阶段的二分合并与解码阶段的 KV 驱逐,在七种模型变体上实现算力、内存与精度的帕累托最优。该方法以 0.125 保留率在 TextVQA 任务上超越 H2O 基线 9.6 分,且压缩效率随模型规模增大而提升。代码已开源,建议将 MM-Vet 或 DocVQA 作为解码阶段剪枝的强制验证基准。
arXiv 论文介绍 EV-JEPA,一种单次训练即可在智能眼镜、手机、机器人及服务器等异构边缘 - 云端连续体上部署的视觉基础模型。该模型具备可重构宽度和原生跨设备分区能力,核心采用过渡感知三元组训练(T3),使同一权重同时支持单设备和跨设备执行。
论文提出了 DroneCATS 基准,用于评估多模态大模型(MLLMs)在控制无人机执行指挥、接近、跟踪和搜索任务时的表现。研究涵盖了从前沿模型到小型开源模型的十种 MLLM,并在仿真与真实无人机上测试了单架及多机协同场景。结果显示,虽然前沿模型成功率最高但受延迟影响难以锁定移动目标,而经过微调的小型模型在真机上表现更优。作者将完全开源该基准。
FADRA 提出一种频率感知扩散框架,利用预训练文生视频模型的时间一致性并通过轻量 LoRA 适配器及低质量像素对齐特征融合模块适应任务。该方法引入重复残差自适应头与频域感知损失,在保持结构完整性的同时恢复精细面部细节并抑制时间抖动。实验表明其在量化指标和视觉感知上均优于最先进方法,项目页面已公开。
本文研究变分自编码器在潜在扩散中的可学习性(diffusability),推导了像素空间去噪损失的无分布界,并提出频谱匹配假设:潜变量应遵循平坦的幂律功率谱密度以保留低频增益,并通过解码器保持频率到频率的语义对应。实验表明该方法在 CelebA 和 ImageNet 上优于先前方法,同时扩展了表示对齐(REPA)的谱域视角并提出了 DoG 基改进方法。代码与多 VAE 仓库已开源。
InkSight 旨在弥合数字笔记与传统纸笔笔记之间的差距,提出将物理手写(离线)转换为数字墨水(在线)的去渲染方法。该工作结合阅读和写作先验,允许在缺乏大量配对样本的情况下训练模型,据称是首个能有效处理具有多样化视觉特征和背景的手写文本照片并泛化到简单素描的研究。
OS-Helix 是一个端到端训练的多模态计算机使用智能体,旨在统一图形界面操作与代码执行。研究引入应用 - 工件组合构建可验证环境,并提出步长平衡 GSPO 优化算法以防止长代码动作主导训练。
arXiv 论文介绍 Mallea 系统,该系统利用编码智能体从文本提示中推断物体交互需求,联合规划物体结构、属性及规则以支持紧凑表示。系统通过生成式渲染器结合当前结构与记忆的纹理外观来推进世界状态,并允许用户动作引导演化或编辑属性而不影响现有状态。材料为预印本版本,未报告真实机器人部署结果。
推荐理由:原文提出 Mallea 系统,通过编码智能体构建可编辑的文本驱动世界模型,支持对象交互规划与纹理记忆。
TRACE 提出一种利用目标骨架定义连接需求、随预测自适应调整监督的重连目标,以解决薄状结构易受连通性错误影响的问题。该方法引入拓扑感知骨架载体保留前景与类别特定拓扑,在六个二维及三维基准实验中提升了连通性与拓扑保持能力,同时维持高分割精度且训练开销低。代码将在论文被接收后发布。
论文指出 Bench2Drive 基于 CARLA 的闭环评估协议存在严重缺陷:其舒适度指标因实现错误和奖励静止的策略,导致评分与实际驾驶表现相关性极低;导航信号供给机制也存在控制器替换转向及训练/测试目标点不一致的问题。作者通过实验验证了这些陷阱对 UniAD 等模型的影响,并发布了独立的修正代码,允许在不重新运行仿真复现的情况下获取更准确的舒适度分数。
推荐理由:原文指出 Bench2Drive 闭环评估协议存在指标实现错误与导航信号供给缺陷,导致评分失真,并提供了修正后的距离基线代码。
论文提出了 Anchor3DGS,这是一种无姿态前馈 3D 高斯泼溅框架,旨在解决现有像素对齐范式在高斯数量与输入分辨率耦合、纹理区域冗余及几何复杂区覆盖不足的问题。
该论文提出 TRACE 框架,旨在解决将未充分定义的语言请求转化为具体可修订的运动结构这一挑战。研究围绕宇树 G1 人形机器人构建,利用成对的训练运动和当前运动作为监督信号,通过语言模型预测支撑、根部和手部事件的时间对齐编码,结合重力参考状态与轨迹接触目标来改善运动学一致性。
论文提出 ManiFusion 框架,通过在去噪骨干网络前融合多个样本并在其后解融合,实现多样本并行生成。该方法利用轨迹融合调度(TFS)动态调整融合因子以对齐去噪阶段,适用于 U-Net 和 Transformer 架构的像素及潜在空间模型,并与现有加速方法兼容,在最小质量损失下达到更高吞吐量。
arXiv 发布 Fast-VLA 论文,提出在每集开始时调用一次冻结的 4B VLM 建立固定任务记忆,执行阶段由轻量在线演员融合视觉与本体反馈预测动作,无需重复运行基础模型。该方法在 RoboTwin 2.0 和 LIBERO 评测中分别取得最高 95.95% 的成功率,并将推理时间相比持续条件基线降低 10.9-17.1 倍。材料为预印本,未提及同行评审状态或开源代码仓库。
论文指出免训练物体移除常因注意力重定向导致目标区域残留,且结构化预测与后续修正存在时序不匹配。作者提出 ReState 方法,利用输入检索背景证据并通过噪声水平感知权重对掩码内的清洁预测进行状态修正,同时保留排除物体的注意力作为约束且不增加去噪器评估。
论文提出了 UltraDiff 框架,旨在解决潜在扩散模型在高分辨率合成中计算成本与生成保真度之间的权衡问题。该方法通过联合潜在扩散学习与边际分数蒸馏,引入 MixTeacher 双分支 DiT 利用共享注意力解决压缩空间的模糊性,并在原生 f32 空间进行向量场蒸馏以过滤压缩伪影。
该论文研究如何通过恢复模型内部的低维子空间结构来理解与控制具身智能行为。作者提出块稀疏特征提取器(BSFs),成功识别出感知、语言、本体状态等任务相关特征,并通过微调干预验证了因果性。此外,利用基于特征的数据归因方法,仅需屏蔽不到 1.4% 的训练 token 即可移除特定失败恢复行为,为理解与改变机器人行为提供了有效工具。
论文介绍了 3DCodeVerse 研究生态,包含大规模可执行 3D 代码数据集 3DCodeVerse-2M、用于空间推理与自动验证的多智能体框架 Harness 以及实践指南。
推荐理由:该工作构建了可执行的 3D 代码数据集与多智能体验证框架,显著提升了开源模型的 3D 编码能力。
该研究将四个 Gemini 4 Argon 智能体置于受控的 Minecraft 生存世界,赋予其唯一目标:击败末影龙。每个智能体通过开源库 Mineflayer 控制玩家,利用游戏内聊天和共享记忆进行协作,未分配角色或编写游戏逻辑。
推荐理由:该预印本报告了四个 Gemini 4 Argon 智能体在无预设种子和人工干预下,于 Minecraft 沙盒中自主击败末影龙的实验过程与策略。
针对复杂基准测试运行成本高、迭代慢的问题,本文引入 EvalResearchBench(ERB),研究 AI Agent 是否能在给定材料、API 及预算约束下自动设计评估任务与评分器。实验对比了 9 名研究者与 13 个候选模型生成的评估器在 14 个目标基准上的表现,发现最佳评估器对约 75% 的候选对排序与目标一致,且开发集最优者未必在密封测试集上最优。
Google 发布 Gemini 4 Argon,旨在成为覆盖机器人控制、虚拟世界构建及训练视频评估的统一模型。演示中,该模型结合 MuJoCo 仿真与 AI 代理验证,将波士顿动力 Spot 机器人的任务成功率从 56% 提升至 75%,执行时间缩短至 24 秒;在 ERQA 基准测试中以 87% 的得分领先其他前沿模型。
论文介绍 EmbodiedEvo 框架,这是一种通过程序化机器人接口观察场景、执行控制并适应物理状态的自进化编码智能体。该方法将交互与推理预算转化为可复用的代码技能(Skills)和诊断教训(Lessons),在不更新模型权重的情况下冻结经验以支持未见场景中的独立智能体。
推荐理由:该工作提出无需微调的自进化编码智能体,将物理反馈蒸馏为可复用技能与诊断教训,在仿真环境中实现经验跨场景迁移。
论文介绍 RoboSimStudio(RSS),这是一个基于开源 Newton 物理引擎的交互式工具包,旨在解决机器人操作接触力学建模难的问题。作者通过显式暴露求解器、接触模型及物理参数选择,支持人类与编码智能体快速创建并迭代仿真。
针对现有智能体视频生成系统难以统筹故事、角色与视听元素的问题,论文提出 Agentic Video Auto-Encoder(AVA-Encoder)。该方法将成品电影逆向编码为包含结构化文本节点、类型化依赖边及多模态资产链接的电影知识图谱(Film KG),并利用固定解码器从图谱再生成影片。
arXiv 论文 CorrelationFlow 提出将 LiDAR 场景光流估计重构为鸟瞰图(BEV)图像间的相关性最大化问题,采用图像处理链替代可学习参数。该方法无需训练即具备强泛化能力,在 CVPR 2026 Argoverse 2 无监督赛道获得第二名,测试集涵盖五种数据集及多种车辆平台与环境。作者认为经典模型方法可匹敌甚至超越学习方法,源代码将发布。
北欧地区凭借丰富可再生能源及严谨数据治理,正加速构建技术生态系统。NVIDIA 在该区域投资了 Lovable、Legora 等初创企业,并支持 Spotify、ABB Robotics 等利用 TensorRT-LLM、Omniverse 库及 DGX SuperPOD 部署 AI 应用。
NVIDIA Nemotron 3.5 Super VL 是一款开源可定制的多模态模型,专为处理阅读文档、跨源查信及调用工具等长流程企业工作流设计。该模型采用 120B 参数混合专家架构,每次请求仅激活 12B 参数以支持专用智能体的高效推理。
Jacob Beattie 等人提出一种基于稀疏自编码器的方法论,旨在从视觉基础模型中挖掘候选特征以支持开放式的科学发现,无需针对特定概念的监督。
推荐理由:该论文提出利用稀疏自编码器对视觉基础模型进行无监督特征挖掘,在三个数据集上验证了发现已知概念及潜在诊断特征的能力。
针对基于图像特征(如 CLIP)分析 LoRA 模型风格需额外计算且依赖提示词的问题,本文提出直接在 LoRA 权重空间分析风格的方法。该方法在 SD1.5 和 SDXL 基座上进行了广泛评估,证实了仅凭权重即可有效表征适应后的风格,且在未见过的 LoRA 聚类与检索任务中优于图像生成方法。
该研究提出利用拓扑正则化对齐两个独立训练的自编码器潜在空间,彻底消除训练期间的协调需求。理论分析表明结构一致性可转化为近似几何兼容性,多数据集重建实验验证了该方法显著缩小互操作性差距。
针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。
推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。
论文提出了 DiffGIPC,这是一个针对接触丰富逆问题的 GPU 加速可微分框架。该方法通过仿射体导数设计,在保持非穿透约束的同时仅保留十二个运动自由度,显著降低了全空间有限元实现中的计算成本。
该论文提出 All-St3R SLAM 框架,旨在解决现有动态 SLAM 存在的过度去除和计算成本高问题。系统结合 DUSt3R 的自运动预测与 All-Tracker 的点跟踪结果,仅分析两者差异来移除当前运动的像素区域,允许暂时静止部分用于跟踪。
推荐理由:该工作提出无需预定义标签的像素级运动掩膜方法,在仅用 RGB 输入下实现约 10 FPS 实时动态 SLAM,优于现有稠密方法。
CoWear 提供包含超 30 名参与者、超 300 次行走会话及超 30 小时/100 公里轨迹的智能手机、智能手表和智能眼镜协同惯性定位数据集。该框架通过训练角色特定估计器预测公共参考设备位移,并利用陀螺仪积分转换至世界坐标系融合不确定性。实验表明,相比单设备估计,多设备融合在位移与轨迹展开精度上均持续提升,为异构消费级穿戴设备的协同研究提供可复现基线。
作者发布了 TacClaw-Infinity,这是一个针对接触丰富操作任务的大规模结构化 VTLA 数据集。数据通过分布式采集获得,涵盖家庭、实验室及工业场景,包含超过 10,000 小时视频、100 万集数和 10 亿帧画面,涉及千余种任务类型。研究团队开发了可扩展的轨迹重建与多模态质量控制流程,并验证了该数据集在三种异构机器人上的跨本体迁移能力,证明其无需特定机器人演示即可支持模型训练。
推荐理由:该工作发布了一个大规模触觉 - 视觉 - 语言 - 动作数据集,支持跨本体迁移且无需特定机器人演示。
针对现有视觉语言动作模型依赖图像级表征且缺乏细粒度物体理解的问题,该研究提出了 ObjDream 框架。该方法利用时空物体编码器将观测组织为时间槽,并通过身份引导的路由机制调制注意力;同时引入动作条件的对象动力学模块预测紧凑的未来状态以监督演化过程。
针对组织制备差异导致的领域偏移问题,GDBA-Net 通过冻结 SAM2 编码器并引入门控双分支适配器实现高效微调。该框架仅含 430 万可训练参数,在六个基准测试的完全监督、跨数据集及五样本适应协议下均优于 CNN 与基础模型方法。消融实验证实性能提升源于语义 - 频率互补性与自适应门控设计的协同作用,而非单纯增加模型容量。