野外通用计算机操作智能体环境合成:基于 Agent 的世界模型
论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。
推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。
推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。
优必选发布自研具身世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 三大公认基准评测中均位列第一。
推荐理由:优必选推出 Thinker-WM,在三大世界模型基准中均获第一,提供统一多模态表征架构与开源入口。
Torc Robotics 与 Mila、NYU 合作发表论文,展示如何用自博弈强化学习训练从相机图像驱动的端到端模型。方法先利用简化渲染器 Gigapixel(单卡 A100 每秒约 5 万步)训练结构化输入的强化学习教师策略,再通过 DAgger 蒸馏至相机学生策略并适配真实感知。
推荐理由:Torc 提出自博弈强化学习解决端到端智驾数据稀疏瓶颈,通过结构化教师蒸馏至相机策略并适配真实感知。
针对长程任务中运行前沿模型昂贵而小模型易失败的矛盾,本文提出 LEASH 这一无需训练的框架。该框架利用弱模型的隐状态不确定性信号,仅在必要时将控制权移交强模型,并在移交后通过影子观测器对黑盒强模型进行持续监督。
推荐理由:提出无需训练的 LEASH 框架,利用弱模型隐状态不确定性实现按需调用强模型并持续监督,在 OSWorld 基准上显著降低推理成本。
论文介绍 Data World 多智能体引擎,该引擎在生成文件前显式指定其背后的世界机制,以解决数据代理训练中环境成本高、隐私限制及结果难验证的问题。研究通过人类偏好筛选出涵盖 16 个领域的 50 个保留世界的 100 个任务构建基准,并生成了来自 1,037 个独立世界的 2,135 个训练任务。
推荐理由:提出 Data World 引擎,通过合成环境与任务解决数据代理训练的隐私与验证难题。
论文介绍 FDE-Gym 基准,包含来自 18 个行业、20 种场景的 95 项端到端交付任务,模拟具有脚本化利益相关者和可修改系统的生产环境。评估显示,在需发现未声明约束的真实设置中,最佳配置平均得分为 0.56,仅解决 14 项任务;即使获取所有关键事实,能实现高业务提升的任务也仅有 10 项。
推荐理由:该基准通过模拟真实交付场景,揭示了模型在发现未声明约束时的性能瓶颈及从事实到有效解决方案的差距。
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。
该论文介绍了一种名为市场基后训练(MPT)的框架,旨在解决现有多智能体系统训练中个体能力学习与集体行为组织分离的问题。通过让智能体以出价表达参与意愿并据此分配训练信用,该方法实现了动作策略与自编排行为的联合学习,无需中央协调器。
推荐理由:提出市场基后训练框架,联合学习动作策略与去中心化自编排,在具身制造等任务上验证了群体适应性与鲁棒性提升。
LEAP 是一种处理小时级音视频问答的新框架,通过轻量级定位将录音划分为固定时长块并筛选高分候选窗口,再在单轮受控上下文中进行回答生成,从而突破上下文长度限制。该方法支持流式推理且无需针对流式训练,在多个基准测试中分别比 Qwen3-Omni-30B-A3B 基线提升 4.5%至16.8%,并成功迁移至 MiniCPM-o 4.5 模型使其超越已发表结果。
推荐理由:LEAP 框架通过块级证据检索解决长音频视频问答的上下文限制,在多个基准上显著优于 Qwen3-Omni-30B-A3B 基线。
该论文提出一种新范式,将地球观测(EO)模型的构建与优化工作交给通用编码智能体完成。通过定义‘夹具’(harness)和‘验证器’(verifier),任何可验证的 EO 任务都能被转化为智能体的训练目标。
推荐理由:提出将地球观测任务转化为智能体可执行的闭环框架,在六个基准上超越现有方法,且仅需 11% 的训练标签即可实现土地覆盖映射。
论文提出了 DuplexBridge 框架,旨在解决复杂图像编辑中任务解释失败难以归因的问题。该方法利用统一模型自身的理解能力来增强其生成提示,无需外部理解模块。
推荐理由:提出 DuplexBridge 框架,利用模型自身理解能力增强生成提示,在 CE-Bench 等基准上显著提升了图像编辑的完全合规率。
该论文提出了 RSIgen 框架,旨在解决统一多模态骨干网络中生成器更新导致智能体动作监督过时的矛盾。通过动态责任路由(DRR)匹配证据、输入与受支持动作来选择学习接收者并构建兼容训练目标;在生成器学习后重新评估测试动作的相对效用以刷新智能体监督,并由保留角色构建下一轮课程。
推荐理由:提出 RSIgen 框架,通过动态责任路由解决生成器更新导致的监督过时问题,在多个模型上提升任务成功率与视觉质量。
针对 RGB 相机更新率低导致动态环境感知受限的问题,论文提出 LiFR v2 统一框架,融合事件引导补全模块与历史检索模块,实现从单帧 RGB 和事件的因果实时稠密预测。
推荐理由:提出 LiFR v2 框架,结合事件引导补全与历史检索模块,在动态场景下实现超越帧率的高频稠密感知。
arXiv 论文 LIMBO 提出了一种框架,通过从黑盒状态转移中学习状态 - 动作控制屏障函数,并将其安全结构蒸馏到任务策略中。该方法在冻结基控制器周围对残差动作进行基于剩余的安全证书合成,使 Q-CBF 合成在全控制维度上可行。实验在一个拥有 29 个自由度的类人机器人上进行了躲避球和跨越低障碍物的运动演示,展示了学习到的策略无需在线安全过滤即可直接迁移到硬件。
推荐理由:该框架将安全证书蒸馏至任务策略,使学习到的安全合成可扩展到全身敏捷控制且无需在线安全过滤。
论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。
推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。
arXiv 论文介绍了 VOiLA 框架,旨在解决部分可观测马尔可夫决策过程(POMDP)中的不确定性规划问题。该框架通过条件扩散模型学习任务无关的 POMDP 世界模型,并将采样器蒸馏为紧凑的前馈生成器以集成到向量化在线 POMDP 规划器中。
推荐理由:该研究提出 VOiLA 框架,利用蒸馏后的扩散模型实现 POMDP 在线规划,在仿真数据上实现了物理机器人任务的完美执行。
针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。
推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。
该论文重新审视了具身化思维链(Embodied CoT)在机器人控制中的应用。作者构建了包含 97.8 万轨迹、2.263 亿样本和 2592.5 小时数据的大型语料库,发现仅靠高层推理增益有限且显式思维链作为自回归前缀会导致误差累积。
推荐理由:该文提出 ERVLA 模型,通过训练时保留推理痕迹而推理时直接预测动作的策略,解决了显式思维链在自主生成中误差累积的问题。
论文提出 SADGE 指标,用于在不进行下游模型训练的情况下预测合成图像数据集在常见计算机视觉任务中的表现。研究指出仅凭外观或几何相似度无法可靠预测性能,二者需通过非线性交互共同作用。
推荐理由:提出 SADGE 指标,证明外观与几何相似度的非线性交互能预测合成数据在检测、分割等任务的下游性能。
针对多模态大模型处理长视频时解码成本高、Token 增长快及稀疏采样下运动感知弱的问题,论文提出 HIMMEL 框架。该框架将少量语义锚点帧路由至昂贵的视觉骨干网络以定位物体身份与场景布局,而利用轻量级压缩域三流适配器对更密集的帧间间隔编码,从运动向量图、残差图和 I 帧上下文分支中提取运动证据并转化为对齐的运动 Token。
推荐理由:提出分层交错多流运动编码框架,在大幅减少上下文 Token 的同时提升长视频理解性能。