跳到正文
10月27日周二
  1. arXiv · 机器人与计算机视觉63

    WorldArena 2.0:扩展具身世界模型的模态、功能与平台基准

    WorldArena 2.0 是一个扩展的基准,系统性地沿三个维度拓宽了具身世界模型评估:在模态上从纯视觉扩展到视听触觉多模态;在功能上超越策略评估与规划,将世界模型作为交互强化学习环境用于策略优化;在平台上从仅仿真器扩展到涵盖多种具身形态的仿真与现实设置。该基准遵循标准化协议,全面评估感知质量、交互效用和跨平台性能,为追踪具身世界模型的进展提供综合测试床。项目页面包含代码和演示。

  2. arXiv · 机器人与计算机视觉82

    RoboEvolve:基于有限数据的机器人操作规划器 - 模拟器协同进化框架

    该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。

    推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。

  3. arXiv · 机器人与计算机视觉82

    MicroWorld:利用多模态属性图弥合大模型与显微领域的差距

    论文提出了 MicroWorld 框架,旨在解决多模态大语言模型(MLLM)在显微成像等垂直领域因数据稀缺和专家知识难以编码而导致的性能瓶颈。

    推荐理由:该框架通过多模态属性图增强 MLLM,在显微图像推理任务上显著提升了 Qwen3-VL 的准确率。

  4. arXiv · 机器人与计算机视觉33

    通用游戏智能体综述:虚拟世界中的基础模型研究

    该综述提出从单一游戏精通迈向同时创造与演化的理论游戏多元宇宙路线图,旨在构建全能通用智能体以铺平 AGI 之路。工作围绕数据集、模型、框架和基准四大支柱展开,试图突破束缚系统的五项根本权衡。项目页面与代码仓库已提供链接供查阅。

  5. arXiv · 机器人与计算机视觉82

    面向鲜活世界的创作:基于工具约束的 LLM Agent 用于可执行的多角色场景

    论文提出利用工具约束的 LLM Agent(Director 和 Scene Builder)在仿真引擎中构建可执行的多角色时空事件图,解决了标准流水线无法追踪动态世界状态的问题。实验显示,该框架生成的规范执行率为 80%,且能准确重构原始场景的事件、参与者及顺序,相关成果已获 ECCVW 2026 录用。

    推荐理由:提出工具约束的 LLM Agent 框架,将多角色场景构建为可执行的时空事件图,解决了标准流水线无法追踪动态状态的问题。

  6. arXiv · 机器人与计算机视觉15

    物理信息感知数字孪生实现奶牛核心体温精准预测

    该研究提出结合 ODE 热调节模型与行为马尔可夫链的数字孪生框架,利用 MmCows 数据集在奶牛核心体温两小时超前预测中取得 R2 0.783、F1 84.25% 及 PICP 92.38% 的性能。三阶段堆叠集成架构融合多模态特征与不确定性量化,显著优于消融实验基线,为精准畜牧养殖提供鲁棒的早期热应激检测方案。

  7. arXiv · 机器人与计算机视觉72

    PlanViz:面向计算机使用任务的规划导向图像生成与编辑评估基准

    针对统一多模态模型在计算机使用规划任务中潜力未被充分探索的问题,本文提出 PlanViz 新基准以评估图像生成和编辑能力。该基准涵盖路由规划、工作制图及网页/UI 展示三个涉及日常生活的子任务,通过大量人工标注确保数据质量,并引入任务自适应评分指标 PlanScore 来综合衡量生成的正确性、视觉质量和效率。实验结果揭示了当前模型在此领域的关键局限与未来研究方向。

  8. arXiv · 机器人与计算机视觉68

    CRAFT-E:一种用于功能属性 grounding 的可解释可编辑神经符号框架

    针对非结构化环境中辅助机器人需推理物体功能及非常规用途的挑战,该工作提出 CRAFT-E 框架,通过组合大语言模型生成的动词 - 属性 - 对象知识图、CLIP 视觉对齐与基于能量的抓取推理,实现可解释的 grounding 路径与无需重新训练的编辑能力。

  9. arXiv · 机器人与计算机视觉82

    AdaThinkDrive:基于强化学习的自动驾驶自适应思考框架

    针对端到端自动驾驶中思维链(CoT)推理在简单场景下引入不必要计算开销的问题,本文提出了 AdaThinkDrive 框架。该框架受快慢思考启发,采用双模式推理机制,先在大规模驾驶数据上预训练获取世界知识,再通过监督微调让模型区分需要推理的场景。

    推荐理由:提出双模式推理框架,在 Navsim 基准上提升决策质量并降低推理耗时。

  10. arXiv · 机器人与计算机视觉82

    为规划而适配:乐观的测试时世界模型适配方法

    论文提出了Optimistic Test-Time Adaptation (OpTTA) 方法,旨在解决潜伏世界模型在测试时冻结导致分布偏移下规划性能下降的问题。

    推荐理由:提出OpTTA方法,通过引入规划目标项优化测试时适应策略,在多项任务中将最终规划成功率平均提升13.5个百分点。

  11. arXiv · 机器人与计算机视觉72

    WorldPager:单张消费级显卡上实现无卡顿的长视界世界模型分层内存管理

    论文针对单卡交互世界模型受限于显存容量与带宽的问题,提出 WorldPager 方法。该方法基于相机位姿已知的前提,将 KV 缓存存储于 GPU/DRAM/NVMe 层级而非重复计算,并通过预取机制避免等待。实验显示,在 RTX 4090 上可实现约 37.5 分钟的连续视频生成且主机内存恒定,int4 量化下未见质量损失。

  12. arXiv · 机器人与计算机视觉65

    NeSySpec:基于神经符号技术的工程规范审计框架及其在飞机领域的应用

    NeSySpec 是一个集成且可解释的神经符号审计框架,旨在帮助工程师审查工程系统的声明规范,识别其遵循或违反的物理约束、发现被篡改字段并提出最小修正方案。该框架基于逻辑张量网络构建,利用从真实记录中学习的容差将领域物理关系编码为可微分级谓词。

  13. arXiv · 机器人与计算机视觉78

    视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

    针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

    推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。

  14. arXiv · 机器人与计算机视觉78

    内在目标驱动下的自主智能体:分层探索捕捉果蝇的未来意愿动作

    arXiv 论文提出结合果蝇全脑记录与神经机械数字孪生的研究框架,测试优化内在目标是否能生成与果蝇行为及内部表征相匹配的人工智能体。研究采用 DIAYN 等算法训练无外部奖励的智能体,在虚拟系留球实验中成功复现了果蝇的自发运动统计特征、内部表征编码及未来转向预测能力,表明分层内在动机框架是逆向工程动物自主性的有力工具。

    推荐理由:该研究利用果蝇全脑记录与神经机械数字孪生,验证了基于内在动机的分层策略能复现生物自主探索行为。

  15. arXiv · 机器人与计算机视觉48

    AndroidFlux:评估移动多模态智能体的故障恢复与奖励建模能力

    AndroidFlux 是一个基于 AndroidWorld 构建的基准,通过重置轨迹至错误发生点来隔离并评估移动多模态智能体从意外状态中恢复的能力。研究发布了一个离线强化学习数据集以提升错误恢复效果,结果显示恢复性能仅部分与清洁启动成功率相关,且显式推理仅在 GUI 领域特定 RL 训练模型中有效。

  16. arXiv · 机器人与计算机视觉59

    FL4N:首个前馈潜在 4D 新视角合成模型

    FL4N 是首个不依赖显式 4D 原语的前馈潜在 4D 新视角合成模型,它将 4D 场景先验编码为统一的时空潜在表示。该模型利用轻量级动态编码器解耦物体运动与相机视差,仅通过图像合成目标训练即可实现实时渲染,并在真实视频上展现出良好的泛化能力,有效分离了视角变化与时间动态。

  17. arXiv · 机器人与计算机视觉82

    OSWAM:一种具备一步动作生成的有效世界动作模型

    arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。

    推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。

  18. arXiv · 机器人与计算机视觉48

    EBench 评测前沿智能体 GPT-6-Astra:从直接控制到策略 harness 的能力边界分析

    EBench 评估了前沿多模态大模型 GPT-6-Astra 在机器人操控任务中的表现,对比其直接生成航点与调用后训练 VLA/WAM 策略两种配置。结果显示该智能体在短时任务领先且泛化稳定,但在长时及高精度接触任务上逊于专用策略;结合 harness 虽能提升成功率并降低 token 成本,但受限于次优调用机制仍低于组件上限。

  19. arXiv · 机器人与计算机视觉78

    面向精确抓取的机器人对齐3D高斯泼溅与腕部相机VLA策略研究

    针对电子垃圾拆解等复杂场景中视觉语言动作(VLA)策略学习的数据收集瓶颈及数字孪生建模困难,本文提出基于3D高斯泼溅(3DGS)的腕部相机数据生成管线。该方法通过重建真实工作空间并渲染机器人对齐姿态下的观测,配合平滑结构化的到达轨迹,为VLA微调提供机器人对齐的视觉 - 动作监督;同时引入指令条件到达验证器以估计目标接近度并提供可靠的物理交互前终止。

    推荐理由:针对电子垃圾拆解等复杂场景,提出基于3D高斯泼溅的腕部相机数据生成管线与指令条件到达验证器,在仅需少量遥操作演示下实现高精度抓取。

  20. arXiv · 机器人与计算机视觉59

    更多记忆更好吗?长视频生成中视觉记忆的受控研究

    本文针对长视频生成器利用过往视觉观察防止身份漂移的现象,通过 VMem-Bench 进行了两轨制诊断研究。Track-A 在 92 部真实电影(16,548 个片段)上评估了参考选择;Track-B 在 30 个因果生成的故事(2,824 个片段)上比较了四种检索策略与无记忆及金标准对照。

  21. arXiv · 机器人与计算机视觉78

    Learning Direct Control from Optimization for Dynamic Target Tracking

    针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。

    推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。

  22. arXiv · 机器人与计算机视觉58

    人类行为模型的目标不匹配:机器人学习中行为质量与学习效用的分离

    该论文在高速驾驶和物体交接两个领域评估了不同的人类行为模型,发现现有的行为评估指标不能一致地预测下游强化学习策略的性能,且评估结果对轨迹表示的选择敏感。研究还表明,即使已知真实的测试行为分布,针对不同的分布进行训练也可能带来更好的下游性能。

  23. arXiv · 机器人与计算机视觉72

    迈向城市空间的时空智能系统:一种双智能体视角的综述

    该文章是一篇关于城市时空智能(STI)系统的综述论文,从双智能体视角探讨了如何将数字孪生技术与智能体技术整合到城市治理中。文章回顾了数字孪生如何构建持久且信息丰富的城市环境表示,以及智能体如何通过接口理解、推理、行动并随城市发展而进化。

  24. arXiv · 机器人与计算机视觉78

    SceneAgent:从三维及四维捕获到仿真环境的代理流水线

    论文介绍 SceneAgent,这是一个通过基于模拟器的视觉检查与修复来协调对象重建、物理建模和中间误差校正的代理流水线。它能处理 3D Gaussian Splatting、摄影测量、LiDAR 捕获、AI 生成的 3DGS 场景以及动态场景的 4D 视频,并结合对象分割、物理参数估计、部件分解、铰链连接和可变形仿真。

    推荐理由:该工作提出 SceneAgent 代理流水线,将多种视觉捕获转化为可交互仿真环境并生成数字孪生体与演示数据,显著提升了策略学习基线。

  25. arXiv · 机器人与计算机视觉58

    Dream to Assist:面向共享车辆控制的意图条件化世界模型

    论文提出了 Dream2Assist 框架,这是一种结合意图推断的循环状态空间世界模型,用于解决共享控制中主动对齐人类意图与保持可读性的双重挑战。研究通过虚构共演训练辅助策略,在不覆盖人类代理权的前提下支持离散的人类目标,并描述了将世界模型策略转化为安全、以人为本系统的完整部署流程。

  26. arXiv · 机器人与计算机视觉78

    RobotAgentBench:面向开放世界的机器人自主性基准

    论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。

    推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。

  27. arXiv · 机器人与计算机视觉38

    FastWAM、OpenWAM 与 π₀.₅ 利用未来视频预测作为训练辅助监督提升预训练 VLA 策略成功率

    FastWAM 和 OpenWAM 在已知任务清洁条件下,引入未来视频预测监督使成功率分别提升 24.38 和 72.91 个百分点。然而模型在环境随机化等分布偏移下表现不佳,未见一致优势。研究还向 π₀.₅ 引入轻量 Transformer 预测器作为训练目标,使其成功率从 82.94% 升至 89.19%,证明无需大型预训练视频扩散模型即可实现有效辅助监督。

  28. arXiv · 机器人与计算机视觉48

    FlockWorld:通过人工生命仿真迈向群体规模多智能体视频世界模型

    FlockWorld 是构建于 Reynolds Boids 算法的人工生命环境,支持配置独立数量的相机智能体并渲染同步第一人称视角。配套的 FlockDiT 是基于该数据训练的流匹配潜扩散 Transformer,能联合生成多智能体的同步视频以提升检测与仿真保真度。该系统作为受控测试床已接受 NeurIPS 2026 录用,代码与权重暂未在摘要中提及开放许可。

  29. arXiv · 机器人与计算机视觉78

    无证据下的确信:视觉锚定对医疗视觉 - 语言模型判决稳定性的影响无关紧要

    该论文研究了医疗视觉 - 语言模型在缺乏诊断图像时维持正确诊断的能力,并测试了这种‘无锚定’状态是否会导致模型结论更脆弱。研究者在意大利国家考试题目上进行了图像替换实验,施加两种对抗压力(L4 和 L1),发现无论有无真实图像,模型推翻自身判决的比例差异极小且方向相反。

    推荐理由:该研究通过对抗性压力测试发现,医疗视觉语言模型在缺乏图像证据时仍能维持诊断结论的稳定性,表明‘确信度’无法作为判断模型是否真正利用视觉信息的可靠信号。

  30. arXiv · 机器人与计算机视觉38

    PhysCreator:从图像生成具备空间物理属性的 3D 资产

    PhysCreator 是一个统一框架,能从图像直接生成带有空间变化物理属性的仿真就绪 3D 表示。该方法通过体素对齐的隐空间联合建模几何、外观与物理属性,并利用视觉语言蒸馏将语义先验转移至体素级监督。实验表明,相比现有方法,PhysCreator 在视觉质量、物理合理性和泛化能力上均表现更优。

  31. arXiv · 机器人与计算机视觉42

    基于动态屏障的强化学习自适应人群流控制框架

    针对固定布局导致的人群拥堵问题,研究提出一种无需标注数据的仿真驱动强化学习框架。该方案利用计算机视觉构建真实模拟环境,训练 Soft Actor-Critic (SAC) 智能体自动调整屏障位置以优化行人移动。实验表明,在未见人数规模下,该策略相比现有手动设计配置显著减少了行人停止次数并维持了有效流调节。

  32. arXiv · 机器人与计算机视觉38

    LiDAR-Based Sim-to-Real GNN Framework 实现建筑机器人无标签轨迹交互感知路径修正

    该研究提出一种基于激光雷达的实时框架,从无标签演示中学习交互感知的路径修正以应对动态施工环境。在砌砖试验中,该方法将路径不规则性降低 39.2% 并提升最小 TTC;在 Dynablox 序列中,TTC 增加 38.3% 且生成更平滑路径。消融研究验证了 1.0 秒预测区间及上下文增强等策略的有效性,论文已提交至 Automation in Construction。

  33. arXiv · 机器人与计算机视觉72

    TurboWAM:面向快速世界动作模型的“关键信息”学习技术

    arXiv 预印本发布 TurboWAM,一种旨在解决世界动作模型高推理延迟瓶颈的新技术。该方法引入结构化世界表示聚合模块与动作监督机制,通过减少执行的模型层数及缓存相关表示来降低计算开销。多项机器人操作基准实验表明,TurboWAM 在保持具有竞争力的任务成功率的同时显著降低了推理延迟。材料为技术报告,未提及真实部署结果或同行评审状态。

  34. arXiv · 机器人与计算机视觉70

    RoboWorM:评估具身视频世界模型的移动真实性、一致性与加速效应

    针对现有基准缺乏严格三维空间与运动学推理的问题,本文提出 RoboWorM 基准,涵盖单臂、双臂及人形机器人共 1605 个任务集。通过利用机器人先验知识,定义 KIVA(内视角运动学稳定性)和 RIGIS(多视角几何一致性)两个确定性指标,在无 VLM 情况下将幻觉检测对齐度提升 25.8%、与人类偏好相关性提升 130%。