Before Words, Beyond Speech:首个面向早期儿童的非语言社交推理基准
arXiv 论文发布首个以儿童为中心的多模态视频理解基准 ench,包含约 12 秒的多样化自然场景标注片段。该工作提出分层评估架构,将原子交互线索映射为情境、行为、人际及开放式描述四个层级。
arXiv 论文发布首个以儿童为中心的多模态视频理解基准 ench,包含约 12 秒的多样化自然场景标注片段。该工作提出分层评估架构,将原子交互线索映射为情境、行为、人际及开放式描述四个层级。
论文介绍了一种统一的 multimodal multitask 框架,能在单一架构内同时完成道路封闭分类(无、部分、完全)和受影响路段关联。模型整合了结构化地图数据、融合街景检测的卫星影像及街景图像,利用模态特定编码器和跨模态 Transformer 注意力机制进行显式推理。
论文介绍了 GTAGym 环境及 GTAVBench 基准,包含源自 GTA V 主线剧情的 103 个在线任务及 47 个射击狙击子任务。作者构建了支持截图与键鼠操作的自动状态检查接口,并测试了六款前沿大语言模型在文本指令及仅首图指令(AGI 分支)下的表现,最佳配置在 AGI 分支达到 70.9% 准确率。
该论文提出 PhysMoE 框架以解决具身视觉语言模型(VLM)在坐标预测任务中的离散化延迟与多接触适配难题。其核心贡献包括共享底层多模态上下文、利用视觉编码器位置嵌入将每个坐标编码为单 Token 以注入空间先验,以及采用可微符号距离场(SDF)监督来适应不规则几何形状。
禾赛科技公布2026年第三季度未经审计财务数据,营收10.7亿元,连续六个季度GAAP盈利。其中战略增长业务(SGI)营收9,051万元,环比增长101.4%。
推荐理由:禾赛公布三季报,机器人动力模组出货超3.5万套并进入NVIDIA Isaac GR00T方案,同时发布Kosmo世界数据引擎。
该报告介绍了互惠世界模型(RWM)及首个版本 Duo v1,旨在实现感知与响应的实时双向交互。系统通过自回归建模处理连续交互推理,并引入意图生成与行为实现的统一时间线设计。材料仅作为技术报告发布,未提供真实机器人部署结果或具体性能指标。
Fable 5.2在智能体编程、科学研究等基准测试中全面超越Opus 5.5,软件工程测试达69.9%,输出速度提升30%且价格降20%。海外开发者利用其生成8小时零人工反馈的3A游戏及76分钟海底题材作品,但高推理档位导致Token消耗剧增,部分任务性价比下降。
量子位报道了成立四个月的初创公司 TensorWorld 物原科技在一个月内完成过亿美元融资的消息。文章分析了该公司提出的“物理基础模型”路线,即通过融合几何与合成动力学预训练来构建物理直觉,旨在解决高保真数据昂贵及仿真难以复现真实摩擦形变等行业痛点。
论文提出 GeoWind2Plan 框架,解决城市低空飞行中建筑重塑风场导致的路径规划能耗依赖问题。该框架将建筑几何转化为参考风场帧,利用局部几何条件化的神经算子快速预测任务相关的三维风片并拼接成局部风场,随后基于物理驱动的无人机能量模型优化可行路径与速度剖面。
推荐理由:该框架在仅用背景风与建筑几何的条件下,实现约 3 秒的走廊局部三维风场预测,相比 CFD 快数千倍,且规划出的轨迹在 CFD 评估下显著降低能耗。
论文介绍 PoEM 框架,旨在通过已训练的模型和新的奖励函数直接近似目标 RL 策略,而无需重新进行计算密集型的强化学习训练。该方法利用新奖励函数可表示为现有奖励线性组合的特性,在 log-probability 空间中将最优策略表达为现有策略的组合;即使奖励非线性相关,RL 学到的策略也常跨越低秩子空间。
论文提出 Co-RL 框架,利用多个参数解耦的智能体相互提供奖励信号进行协同优化,以解决自奖励训练导致的偏差与同质化问题。通过引入异构模型家族、不同规模及重述样本来提升群体多样性,有效降低相关错误并抑制训练崩溃。
针对现有网络框架固定但缺乏生成性、纯生成式世界模型难以保持确定性全局框架的问题,本文提出 Web World Model(WWM),将世界状态与物理规则用普通 Web 代码实现以确保逻辑一致性,由大语言模型在此基础上生成上下文、叙事和高层决策。
DeepMind 团队提出 StarWM 模型,利用自监督动态训练的交叉注意力机制指导视觉内容重建,有效平衡环境动力学捕捉与无关内容抽象。在 DeepMind Control 基准测试中,默认版本在随机帧干扰下表现最强,奖励增强变体在序列视频任务上达到最高回报。代码已开源。
论文提出 CitySTAR,这是一个无需训练的框架,旨在解决复杂场景中从自然语言到城市级点云的 3D 定位问题。该方法将描述语义组织为跨模态约束,利用 CodeLLM 工具生成多模态证据构建场景图,并通过双超图建模目标上下文拓扑及双向验证实现结构消歧。
论文介绍 Video-FLAIR 训练框架,利用强化学习让模型针对同一提示生成感知、组合及 deliberative 三种推理模式响应,并通过复合奖励信号筛选最优策略。
该论文针对图像目标导航任务中潜在世界模型的规划成本排序问题,提出了一种基于冻结 DINO 家族编码器的新模型架构。研究定义了预测未来嵌入与目标嵌入之间的余弦距离作为规划成本,并引入自回归展开损失和单调成本排序(MCR)损失来优化多步规划性能。
论文介绍 FlowPilot,这是首个从深度信息构建的实时机载无人机导航世界动作模型。该模型通过流匹配联合去噪未来深度观测与可执行轨迹,利用双流混合 Transformer 耦合视频与动作专家以相互促进预测与生成。
论文介绍 Spatial-IQ 分层诊断框架,利用 NVIDIA Isaac Sim 生成约 80,000 个堆叠 3D 结构数据集,将物体计数任务拆解为 9 个子任务并加入心理旋转探测。
针对在线流式视频理解中内存无限增长与冗余细节过多的挑战,本文介绍 FOLIO 免训练聚焦语义记忆系统。该系统在流式数据到达时按片段更新记忆,利用动态焦点状态结合短期视觉缓冲与围绕观测实体组织的长期语义记忆,并通过视觉证据缓存压缩周边上下文;查询时采用轻量混合检索结合结构化直接匹配与语义查询扩展。
RoverDevKit 是专为月球微型漫游车概念设计打造的开源工具包,其评估器耦合了轮土模型与质量、太阳能及热生存等底层模型。该工具能在单核笔记本上于 1 分钟内完成 3000 次任务评估,用于绘制距离、质量与坡度能力的权衡曲线。在 mare 和 polar 等任务中,能量存储或坡面牵引力成为主要限制因素,且轮土模型复现了独立数据集的实测数据。
EffiNav 通过融合深度信息与视觉语言实现高效物体目标导航,在 Habitat Matterport 3D 和 OVON 仿真基准及真实机器人场景中表现优异。该模型在成功率(SR)和路径加权成功率(SPL)两项指标上匹配或超越近期基线,有效解决了探索效率与泛化性问题。作者因机构署名错误已撤回论文,计划数月后重新提交修正版本。
Next Forcing 是一种针对世界动作模型(WAM)的多块预测(MCP)框架,旨在解决自回归视频生成训练慢、收敛精度低及推理迭代耗时的难题。该方法引入轻量级辅助模块,同时去噪多个未来时间步的视频块,利用中间特征融合实现因果链式预测,为模型提供密集多尺度时序监督。
针对长视界视频生成中的几何一致性难题,本文提出了基于深度图的记忆检索框架 CovRAG。该方法利用预训练 3D 先验构建目标视图覆盖图作为轻量级证据,并通过最大化残差覆盖增益迭代选择能解释未被时序上下文或先前记忆覆盖区域的帧。
arXiv 论文介绍 RoboWits 双手动机器人基准,旨在系统评估认知推理、创造性工具使用及应对意外条件的鲁棒性。作者提出多智能体协作框架自动生成种子任务并引入几何、材料等维度的突变。实验显示预训练 VLA 微调后在种子任务表现尚可,但在突变任务中显著失效;基于 GPT-6 Astra 的零样本策略虽优于所有微调模型,仍损失约五分之一成功率,表明仅靠更强基础模型无法解决鲁棒性差距。
OmniGF 是一种统一的视觉语言框架,旨在解决传统模型仅擅长空间定位或 VLM 依赖离散文本生成导致精度受限的问题。该框架采用双分支解码策略:结构化语言分支生成离散推理状态,连续空间分支直接利用 VLM 的稠密隐藏态以克服坐标生成的空间瓶颈。
论文 OASIS 提出一种视觉运动策略,通过融合视觉语言与度量深度特征的 3D 感知编码器,结合 SE(3)末端执行器轨迹预测器,使动作解码器生成符合刚体运动的动作块。该方法在仿真和真实世界实验中均优于 VLA 和世界动作模型基线,提升了成功率与分布外泛化能力。材料为 NeurIPS 2026 Spotlight 接收的预印本,项目页面已公开。
研究发现模型精度不受无信息哑元替换影响,表明现有数据中潜变量提供的额外信息有限且推理时生成的潜变量坍缩至狭窄区域。实验证实仅在诊断数据集上微调后模型才能因果依赖潜变量,未来进展需高质量中间步骤数据与更精准的潜变量预测。
DeformMaster 是一个从真实视频推导出的交互式物理 - 神经世界模型,能在统一动力学与外观框架下恢复几何、物理动态及材料行为。实验在真实世界可变物体序列上验证了其未来动力学推演与高保真渲染能力,优于最先进基线并支持新动作推演与材质参数变化。代码与视频演示已在项目页面公开,该版本为 NeurIPS 2026 Camera ready。
Swim2Real 利用视觉语言模型(VLM)对比真实与模拟视频,通过回溯线搜索优化 16 个仿真参数以匹配软体水下机器人的变形与推进。独立预注册的五十种子实验显示,该方法在 40 次评估中将平均最佳误差较随机方向降低 63.4 mm、较置换方向降低 53.2 mm(p<10^-5)。
针对动态人群场景中的人为感知变异问题,论文提出了免训练的主动证据采集框架 DIVRR。该方法结合问题引导的房间指引与相关性触发的视角增强来指导探索,并利用选择性记忆准入机制保留高评分证据以压缩显存占用。研究构建了基于 Habitat 的动态人群具身问答数据集 DynHuman-EQA,实验表明 DIVRR 在动态场景下的准确率与显存效率均优于现有基线。
该论文提出 GTA 框架,将低层空间状态估计与高层语义规划解耦,引入结合几何积累与导航历史的显式度量世界表征,并通过反事实分支推理修正决策。在 R2R-CE val-unseen 全量测试集上成功率为 48.8%,在 260 集英文子集上为 46.2%。研究还展示了该方法可迁移至轮式、四足及空中机器人。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。
论文提出一种针对自主车辆(特别是航空器)轨迹跟踪误差的安全认证方法,解决现有基于不变椭球或区间的方法过于保守的问题。该方法利用李代数坐标下的线性化误差动力学与管状集合传播技术,在平面飞行器仿真及四旋翼实飞中验证了所提管状边界能紧密包含所有可达跟踪误差,且在强扰动下优于传统椭球法。
这篇论文提出 LawKAN 架构,通过在神经网络节点内植入已知非交换群律结构,仅让边学习局部增量、零初始化修正层学习未知偏差,从而解决传统模型重复学习规则导致误差累积或经典估计器忽略硬件偏差的问题。
该论文系统梳理了可微物理仿真中“计算对象”与“反向传播实现”的分类差异,指出精确梯度优势取决于拟合目标来源而非单纯求解器预算。研究量化了接触非光滑性导致梯度丢失的四种机制,并验证了在特定条件下零阶方法优于模拟器梯度的现象。材料提供了报告清单、诊断工具及未来研究议程,旨在澄清文献中的混淆概念。
论文提出 SCALE 框架,旨在让轻量级自主智能体在不依赖昂贵大语言模型推理的情况下持续获取可复用知识。该架构由小模型处理常规预测,仅在预测错误或积累跨回合证据时触发 LLM 进行反思;LLM 分析历史经验并生成反事实示例以提出可复用的概念假设。
推荐理由:SCALE 框架通过小模型处理常规任务、LLM 仅在误差时介入反思,实现了经验知识的紧凑内化与层级抽象。
该论文测试了单步随机码本匹配(nearest-of-m)在冻结 DINOv2/v3 令牌上的表现,发现 m=16 即可覆盖枚举的未来且延迟约为扩散方法的 1/30。研究证实该方法在模式不确定性下优于多步流匹配和能量分数生成器,但指出其在连续高维输出上存在欠分散性限制,且准确的风险分析并未提升规划成功率。
推荐理由:该文在冻结 DINOv2/v3 令牌上验证了单步随机码本匹配方法,发现 m=16 即可覆盖枚举未来且保持低延迟,同时揭示了该方法在连续高维输出上的欠分散性限制。
该研究提出一种基于 Transformer 的策略,用于解决部分观测且含噪声的多输入多输出线性时不变系统族的通用控制问题。策略通过共享表示与编码技术,仅需短时噪声测量即可生成控制动作,无需植物矩阵或状态估计器。
推荐理由:论文提出利用 Transformer 实现无需显式状态估计的通用输出反馈最优控制,在仿真系统中达到接近 LQG 的最优成本。
Feel My Focus 是一款眼动触发的混合现实(MR)演示系统,将持续视觉注意力转化为生成动作,实现单图捕捉、注意引导分割及一次成像三维重建。该系统集成眼动追踪眼镜与模块化服务,优先响应性与体验连续性而非光度保真度。基于公开演示观察,报告了设计权衡、失效模式及真实协作场景下的用户控制考量。
SituRecBench 是一个交互式基准,用于评估前沿视觉语言模型(VLMs)在高保真三维环境中作为情境推荐助手的能力。该基准模拟超市和家居店等真实购物场景,要求助手在共享用户第一视角时通过对话激发偏好、将推荐锚定环境并引导导航。实验揭示了空间锚定与偏好激发方面的持续挑战,表明现有模型难以整合全局上下文与局部观测信息。
MultiMediate'26 挑战扩展评估域至包含 PInSoRo 数据集的儿童 - 儿童与儿童 - 机器人玩耍会话,引入 NoXi、NoXi-J、MPIIGI 及 PInSoRo 数据集并公开基线代码。该工作通过多模态特征提取,实现了跨领域、年龄范围和文化背景的参与度估算基准,为辅助 AI 系统建模提供透明环境。