EviBridge:编码预测视觉证据以支持主动交互
EviBridge 框架将冻结的 V-JEPA 2 编码器特征映射至语言解码器,用于工具交接任务中的状态与工具联合预测。在 FuGIBench 基准测试中,最佳变体整体得分达 0.6448 和 0.5892,显著优于各自的任务自适应原生基线(0.2178 和 0.5327)。该成果涵盖目标交接、长时间等待及取消请求场景,验证了预测视觉证据对交互决策的价值。
EviBridge 框架将冻结的 V-JEPA 2 编码器特征映射至语言解码器,用于工具交接任务中的状态与工具联合预测。在 FuGIBench 基准测试中,最佳变体整体得分达 0.6448 和 0.5892,显著优于各自的任务自适应原生基线(0.2178 和 0.5327)。该成果涵盖目标交接、长时间等待及取消请求场景,验证了预测视觉证据对交互决策的价值。
SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。
研究利用 CLIP 图像编码器与 Tip-Adapter-F 缓存,通过少样本学习实现相位敏感光时域反射仪(Phase-OTDR)的事件识别。在控制数据泄露的协议下,ViT-L-14 架构配合每类 128 个支持样本的配置,在独立测试集上达到 96.81%±0.42% 的准确率与 96.79%±0.42% 的宏平均 F1 分数。相关代码及图像数据集已公开于 GitHub,且性能对提示词表述不敏感。
该论文综述了利用基础模型的机器人奖励模型(RRM),将其按输出语义分为五类,并指出当前评估器难以区分任务完成度与执行时序的缺口。为此,作者构建了包含 1,117 条闭环真实视频的新基准 RRM-Bench-1K 及开源工具集 RRM-Hub,支持对 27 种现有评估器的统一测试与新方法验证。
本文提出一种规则引导的 VLA 框架,将英国公路守则的部分条款形式化为可执行的一阶逻辑规则,结合专家演示监督微调和强化学习优化策略。在 CARLA 仿真器离线评估中,该方法相比仅基于监督学习的基线,显著提升了动作预测准确性和编码规则的合规率,最佳变体将整体规则通过率从 92.9% 提升至 97.6%,且在评估样本中未观察到违反路权优先级检查的情况。
JEPTERA 架构集成联合嵌入预测架构(JEPA)与模型预测控制,在三个 Gym 场景的 180 次运行中完成 28/30 任务。该平台无需修改核心逻辑即可适配 Gazebo、ROS 2、MuJoCo 和 CARLA 等仿真器,并在三张城市地图测试中实现无碰撞单路线飞行。
论文提出 WTR-Drive,这是一种基于 Drive-JEPA 的规划器,旨在解决提案条件化场景预测缺乏通用对象级参考的问题。该方法将共享场景估计与提案条件化推理分离,利用独立的 World Memory 估计物体状态和地图结构,并通过任务分支更新残差以指导候选轨迹的细化。
论文提出了 VISTA(Vision-Informed Semantic Traffic Awareness)框架,旨在解决物联网智能交通系统中传输原始视频带宽大及车载设备资源受限的问题。
论文提出了 XMimic 和 XSoma 两个模型,利用世界模型优化策略并通过并行计算将类人机器人在粗糙地形的运动追踪与移动训练时间压缩至一分钟以内。
推荐理由:原文介绍了利用世界模型与并行计算将类人机器人运动追踪训练压缩至一分钟内的方法,相关团队可据此评估其加速潜力。
论文发现多模态大模型在融合中常过度依赖文本而忽略视觉线索。作者构建 MR-Bench 基准,显示仅凭转录即可解决大部分本需视觉的任务。提出的 Counterfactual-View Reliability (CoVeR) 方法通过让单模态视图互相监督来抑制语言捷径,在不增加推理成本的情况下显著提升了模型对非语言证据的利用能力。
DexFormer 2.0 是一种针对跨本体灵巧抓取的单一强化学习策略,通过标准关节接口映射、运动学树偏置注意力及 Transformer-XL 记忆模块,解决不同机械臂与手爪组合间的动力学差异。
论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。
推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。
针对点云视频自监督学习中存在的几何位置与时间掩码导致的信息泄露问题,论文提出了 PointWM 方法。该方法通过仅使用目标最后一次出现的位置和时间戳进行查询,并学习无需标注的潜在动作来预测未来帧的特征与几何结构,从而将任务从补全转变为真正的因果预测。
推荐理由:提出 PointWM 方法解决点云视频预训练中的信息泄露问题,在 HOI4D 任务上显著优于从头训练。
该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。
推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。
论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。
推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。
Sen Shen 等人提出一种结合想象策略改进与直接价值及策略校准的世界模型强化学习框架,旨在平衡自动驾驶车辆(AV)的进展与周围人类驱动车辆(HDV)的交互负担。
论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。
推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。
论文 PanDWM 提出将六个针孔相机视图拼接为单一 360°全景带,使视角一致性转化为图像连续性约束。该方法采用因果学生网络分步生成全景窗口,并通过前馈解码器结合邻帧静态高斯构建 4D 场景。在 nuScenes 数据集上,PanDWM 在单视口评分下 FID 低于多相机基线,速度提升 8-46 倍,同时将 FVD 降低 22-25%。代码与网站链接已提供。
该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。
推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。
Pros4D 框架通过潜在空间统一观测动力学理解与未来动力学预测,解决现有视觉语言模型难以处理连续动态变化的局限。该方案利用几何 grounded 监督构建配对示例,将观测状态压缩并自回归推演至未来状态,同时通过 4D Latent Alignment 进行视觉语义与几何配准。实验在涵盖动态相机、物体及场景的八类空间任务基准上,均展现出优于强基线的一致性能提升。
该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。
推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。
论文研究在 Fast-WAM 6B 参数世界动作模型上,比较跨周期缓存(C$^3$ache)与减少去噪步数的策略。实验显示,保留两个未缓存步骤可在所有初始状态下保持不低于十步的成功率,且将重规划调用时间从 202ms 降至 92ms。研究指出缓存策略脆弱,覆盖路径比例过高会导致成功率下降,并建议测试复用时应基于部署时的采样器和噪声设置。作者开源了评估工具、日志和检查清单。
论文提出一种方法,利用多视图图像学习共享潜在表示并解码具有物理意义的边界(如距离和间隙),以解决信号时域逻辑(STL)监控依赖未直接观察到的物理边界的难题。
arXiv 预印本论文 ResWAM 提出视觉残差学习策略,在冻结 DINOv3 空间下仅监督当前帧到未来帧的特征变化,避免背景冗余。
该论文提出一种无需训练的新框架,直接从扩散 Transformer 的图像侧激活中提取视觉概念方向。该方法利用简单的均值差估计器,能在少样本提示对下识别出可复用的概念方向并注入推理过程以实现连续控制。定量结果显示,其方法优于文本编码器引导和免训练激活编辑基线,且能与专用编辑模型竞争,支持在同一图像中对多个概念进行精确的定向和组合式操控。
该论文提出 HospitalBench 基准,旨在诊断具身智能体在处理长医院任务链时的失败机制。基准包含十个医院家务场景,每个场景由两个热身步骤和五个因果关联的子任务组成,依赖前一步状态决定后续动作。
该论文提出了 GameWM 系统,旨在构建基于交互中心世界模型的下一代视频游戏。系统采用明确的分工策略:GameWM-engine 负责维护精确的规则、状态、相机和世界布局;GameWM-VM 则生成世界外观和玩家互动的细节。
WA-JEPA 是一种耦合了动作生成、动作条件潜空间预测和目标感知反馈的世界 - 动作模型。该方法首先生成动作提议并预测未来的场景与本体状态,随后利用任务目标作为参考,通过目标差异残差反馈和未来场景上下文反馈两条互补路径对提议进行迭代细化。
针对现有违反预期基准仅聚合时空误差导致无法定位物理理解缺陷的问题,本文引入局部违反预期评估框架,对比了全局、时间局部化及空时局部化的 V-JEPA 模型表现。研究发现在发育性自我中心视频预训练过程中,全局与局部判断的吻合度呈非单调变化,且局部判断置信度随准确率提升而增加,证实全局误差不能直接作为物理违规的时空证据。
论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。
推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。
Songtao Hu 等人提出一种特征空间语义预测框架,旨在解决现有手术辅助系统过度关注外观保真而忽视下游推理需求的问题。该方法直接在冻结的视觉基础模型(VFM)表示中建模时序动态,通过构建分层目标表示并用可学习掩码替换未来帧特征,训练掩码 Transformer 从观测上下文预测潜在特征。
推荐理由:提出在冻结视觉基础模型特征空间进行语义预测的框架,相比像素级合成在手术流程预判与工具识别上表现更优。
TyphoonWorld 是一种离散 Token 的世界模型,专门针对卫星台风预报生成回归网络平滑后的残差场。该模型以回归预报 Token、最新帧和最佳路径状态为条件,逐层采样残差并加到回归中心上。
推荐理由:该工作提出残差 Token 世界模型,在台风图像概率预测中匹配回归误差并降低对流区域 CRPS。
针对视觉语言模型在分布外(OOD)输入上过度自信的问题,本文提出多模态 Logit 融合(MM-Log)方法。该方法在不丢弃预训练几何结构的前提下,将零样本先验与任务适配分支的四个跨模态相似度通道融合为单一 OOD 分数,利用冻结 CLIP 对捷径攻击形成一致性校验。
推荐理由:提出无需微调的零样本先验融合方法,通过冻结 CLIP 与任务分支的一致性检查提升分布外检测鲁棒性。
该论文针对现有多模态推理大模型在视觉定位不确定时过度分配深层推理的问题,提出 ThinkWise 框架。该方法引入实例自适应的视觉感知建模机制以校准不确定性,并设计包含答案、感知与难度条件的结构化奖励公式来调节推理深度。实验表明,ThinkWise 在多个基准测试中显著提升了 3B 和 7B 模型的准确率与效率平衡。材料为预印本论文,未涉及真实机器人部署或产品发布。
论文指出传统生成目标优化合成空间导致与视觉理解表征不匹配,提出 UMM-JEPA 将生成重构为从粗到细的连续视觉理解表征渐进预测。模型在预训练中解耦像素渲染,实验显示该表征预测目标使统一多模态模型的视觉基准平均分达到 51.71,优于仅用于理解的 Qwen-VL 基线(46.36),且文本均值同步提升。
由朱松纯教授发起、北京通用人工智能研究院孵化的通芯智能成立半年完成数亿元融资,正设计兼容主流模型并支持逻辑因果推理的新型 AGI 推理芯片。该公司规划 Vector、Tensor 与 AGI Core 三类单元,其中 AGI Core 专门加速图结构存储处理及概率计算,旨在解决智能体在真实物理世界行动时的效率瓶颈。
该综述系统梳理了大语言模型和视觉语言模型在感知、规划及人机交互领域的进展,将应用划分为仿真驱动、开放世界操作等四个方向。文章重点分析了程序化场景生成与策略泛化等关键趋势,同时指出了具身数据匮乏、安全风险及算力限制等核心瓶颈。最后提出了通过构建更鲁棒的可解释模型来弥合语义推理与物理智能差距的未来研究路线图。
针对自驱动实验室(SDL)自动化流程故障,该研究开发了基于 UR3e 机械臂与 3Dconnexion SpaceMouse Pro 的遥操作接口。对比测试表明解耦控制器模式缩短了任务完成时间并减少旋转运动,且无参考路径引导时用户更具目标导向性。工作验证了人机回环机制在 SDL 故障恢复中的可行性,为未来共享自主性研究奠定基础。
该结构化范围综述发现,成熟的代理型医疗照护尚未出现,多数系统仍由人类主导,强化决策 - 行动耦合及具身智能主要局限于原型机与试点项目。研究提出将代理型机器人作为受监督系统的未来方向,通过可审计工作流连接 AI 智能体、机器人与临床人员,确保人类监督与明确治理。该成果已接受发表于《控制、机器人与自主系统年刊》2027 年第 10 卷。
KnowVis 提出双视图评估框架,诊断文生图模型的世界知识 grounding 缺陷。该协议结合技能树与通用基准,利用结构化 MLLM 评测器验证原子知识与开放表达,在 NeurIPS 2026 E&D Track 接收并开源代码库以支持可扩展诊断。