跳到正文
11月16日周一
  1. arXiv · 机器人与计算机视觉82

    TelePhysica:基于智能体的物理交互式场景重构方法

    TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。

    推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。

  2. arXiv · 机器人与计算机视觉48

    基于显式约束空间的通用安全感知机器人行为规划方法

    针对桌面环境安全约束依赖场景且指令未明确指定的挑战,该研究提出一种集成显式约束空间存储、任务与环境条件化适用性学习及多模态安全检查的行为规划框架。系统通过轻量级双塔模型识别适用约束,利用多模态安全检查器评估并修正初级计划,结合 LoRA 进行测试时自适应与参数高效微调以应对未知风险。该框架实现了显式安全知识表示、上下文感知选择、纠错检查及知识自适应的闭环整合,旨在提升机器人行为规划的安全性。

  3. arXiv · 机器人与计算机视觉83

    V-JEPA-LM:能读取动态信息的视频语言模型

    针对现有视频语言模型仅检索静态属性而忽略动态信息的局限,本文提出 V-JEPA-LM 架构。研究证明动态信息存在于预测编码器的子空间中,并通过像素变换构建反事实监督数据,使语言模型在单阶段训练中即可读取速度等动态特征。

    推荐理由:该文提出利用反事实监督让语言模型读取视频编码器中未被利用的动态信息,在单阶段训练中于多项基准测试中超越现有开源模型。

  4. arXiv · 机器人与计算机视觉48

    Beyond Prediction Gain:LASR 作为世界模型中动作 grounded 潜变量的评估指标

    针对大规模视频数据缺乏动作标注且现有评估无法区分预测捷径与真实动作信息的问题,研究提出 Latent Action Support Ratio (LASR) 这一无单位离线指标。该基准通过机器人操作记录数据验证了 LASR 能检测已知动作信息、拒绝非动作捷径并支持不完备潜变量的分级比较。此外,利用 LASR 训练和审计的轻量残差适配器获得了描述性更优的点估计值及其不确定性评估。

  5. arXiv · 机器人与计算机视觉72

    AnisoFlow:学习各向异性预测目标的流模型方法

    针对基于流的生成模型依赖人工设定预测目标(如速度或噪声)的问题,本文提出 AnisoFlow 框架,引入可学习的各向异性缩放机制替代固定目标。该方法在保持网络架构与损失函数不变的前提下,通过闭式映射恢复速度场,显著降低预测误差。实验显示,AnisoFlow 在 ImageNet 256x256 数据集上将 FID 分数从 1.90 提升至 1.55,并在低精度推理下有效消除图像块接缝伪影。

  6. arXiv · 机器人与计算机视觉82

    CLIP 嵌入中分层概念结构的可证明跨模态转移

    该论文形式化了 CLIP 嵌入中的层次角分离现象,分析了图像与文本嵌入在对比学习下的不对称性,推导了线性损失和 InfoNCE 损失的闭式解,并通过合成实验验证了理论。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。

    推荐理由:本文从理论上解释了 CLIP 嵌入中层次结构产生的几何机制,并给出了闭式解。

  7. arXiv · 机器人与计算机视觉78

    Grounding Object-to-Object Hazard Reasoning into 3D Risk Fields for Task-Conditioned Safety

    该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。

    推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。

  8. arXiv · 机器人与计算机视觉74

    学习潜在目标成本以支持视觉世界模型的规划:基于扩展课程的方法

    针对冻结视觉世界模型中图像 - 目标规划依赖预测观测评分的问题,本文提出在预训练 I-JEPA 嵌入上拟合小残差适配器来优化潜在目标成本。该方法利用成功轨迹的观测顺序及失败回滚推断的比较进行学习,无需任务特定进度标签。

  9. 盖世汽车 · 汽车资讯70

    大晓机器人发布ACE-CaP-0模型,精细任务执行压缩至分钟级

    大晓机器人近日发布最新研究成果ACE-CaP-0,该研究探索通用模型通过主动获取经验自主开发、验证和优化机器人技能。ACE-CaP-0创新性地结合按需示范与按需仿真机制,AI智能体可自主判断请求人类示范或开展仿真实验,并结合真机反馈修订代码策略。

  10. 盖世汽车 · 汽车资讯42

    上汽奥迪 E7X 全面升级搭载 Momenta R7 世界模型实现 D2D 连续辅助驾驶

    上汽奥迪在首届 AUDI DAY 活动中宣布,其 E7X 车型将全面升级搭载 Momenta R7 世界模型,实现从车位起步到精准泊入的全程连续 D2D 辅助驾驶。该功能将于今年 12 月通过 OTA 分批推送至已交付车型,门店试驾车目前已率先完成升级。此外,新车还推出了 E7X 先锋 quattro 必福版与 E5 Sportback 热猎限定版两款特别版本型。

  11. 上海人工智能实验室 · 科研动态78

    上海AI实验室发布开源书生科学多模态大模型S2.1 Flash

    上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。

    推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。

11月14日周六
  1. The Decoder · Robotics80

    Runway 开源机器人控制模型 Praxis-1

    AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。

    推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。

  2. Hugging Face Daily Papers72

    Agentic On-Policy Distillation Implicitly Reshapes LLMs' ReAct Patterns

    该论文研究了同策略蒸馏(OPD)如何重塑语言模型智能体在数学、ALFWorld 和 tau^2-bench 等任务中的 ReAct 交互模式。研究发现,通用推理监督能将数学工具尝试率从 70.4% 降至 14.4%,准确率从 16.7% 提升至 38.0%;代码解释器监督改善了家庭操作和零售查询能力。

  3. The Robot Report60

    Rhoda AI 推出基于互联网级视频数据的通用机器人模型

    Rhoda AI 在获得 4.5 亿美元 A 轮融资后,推出了直接视频动作(DVA)模型,该模型通过在海量互联网视频上进行预训练以建立对运动、物理和交互的强先验。与仅依赖遥操作的小型数据集不同,该模型结合移动性与操作能力,通过观察 - 预测 - 转换 - 执行的闭环实现泛化,并可在少量任务特定微调后部署于真实世界场景。

11月13日周五
  1. arXiv · 机器人与计算机视觉82

    Instant NuRec:面向驾驶场景仿真的前馈式 3D 高斯重建模型

    NVIDIA 发布 Instant NuRec,这是一个前馈神经网络模型,旨在解决传统神经仿真方法速度慢且需逐场景调优的问题。该模型仅需一次前向传播,即可将多视角驾驶日志(约 10-20 秒)快速重建为包含静态与动态层的 3D 高斯泼溅(3DGS)世界、天空立方体及相机 ISP 校正结果。

    推荐理由:NVIDIA 提出 Instant NuRec,通过前馈网络将多视角驾驶日志在约 1.5 秒内重建为可仿真的高斯泼溅场景,性能优于现有基线。

  2. arXiv · 机器人与计算机视觉35

    AI Sandboxes:威胁模型、分类学与测量框架发布

    该研究提出"AI Sandbox"装置定义及五种原型架构,建立十五维测量指标与最弱环节许可规则以界定部署主张。框架涵盖驾驶、工业控制等四类实例的威胁建模,明确实验边界对证据解读的影响并映射至标准规范。预印本 arXiv:2606.18532 含 42 页正文及图表,旨在识别受控实验支持的声明与需进一步验证的假设。

  3. arXiv · 机器人与计算机视觉72

    WISE:面向 VLA 模型高效后训练的世界模型引导式想象调度

    WISE 是一种统一框架,用于协调视觉语言动作(VLA)模型在后训练阶段何时以及如何利用世界模型的想象能力。该方法仅在交互相关状态调用想象,执行有界的多视角展开,并利用进度与完成信号评估候选未来,从而在减少约 80% GPU 计算时间的同时,在多种操作任务中提升性能并增强真实分布偏移下的鲁棒性与泛化性。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。

  4. arXiv · 机器人与计算机视觉38

    MoTE:多任务视频理解中的任务专家混合架构

    VideoLLM-MoTE 提出将大语言模型前馈网络转化为特定任务的专家架构,在 COIN 基准测试中激活约 20 亿参数即实现高于近期基线的平均 Top-1 准确率。该设计通过样本级任务路由使计算独立于存储的专家数量,相比稠密全激活及学习到的稀疏路由均表现更优。论文已获 BMVC 2026 接收,包含补充材料并开源代码与数据。

  5. arXiv · 机器人与计算机视觉58

    Addressable Memory for Video World Models

    该论文研究了交互式视频世界模型中的视觉持久性问题,发现当生成长度超出训练范围时,基于 KV Cache 的模型因位置编码偏移过大而难以检索信息。作者提出无需训练的 WorldTrace 框架,通过为压缩后的记忆槽分配独特的虚拟位置来保持可寻址性,并利用模型自身的注意力机制决定保留哪些观测或合并冗余内容。

  6. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。

  7. arXiv · 机器人与计算机视觉78

    CanViT:迈向主动视觉基础模型

    论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。

    推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。

  8. arXiv · 机器人与计算机视觉35

    MarsRetrieval:面向火星地理空间发现的视觉语言模型基准评测

    MarsRetrieval 是一个针对火星地理空间发现设计的检索基准,涵盖成对图文检索、地貌检索及全球地理定位三项任务。评估显示即便强基础模型也难以捕捉特定地貌差异,证实了领域微调在行星环境下实现泛化地理空间发现的关键作用。代码已公开,适用于计算机视觉与天体物理仪器方法研究。

  9. arXiv · 机器人与计算机视觉72

    CineWild:一种平衡艺术与伦理的野生动物纪录片无人机自主航拍模型预测控制方法

    论文介绍 CineWild,这是一种针对野生动物纪录片的无人机自主航拍模型预测控制(MPC)框架。该方案联合控制无人机运动与相机焦距,通过自适应变焦、避开动物视野及平滑低噪机动,在影像质量与动物福利间取得平衡。研究在仿真环境中进行了消融实验并与基线对比,同时在真实世界完成了感知与相机执行管线的概念验证。作者表示将开源代码。

  10. arXiv · 机器人与计算机视觉42

    LLM-to-Phy3D:LLM 驱动物理合规的在线三维物体生成方法

    LLM-to-Phy3D 提出一种新颖的在线黑盒优化循环,通过视觉与物理评估反馈驱动大语言模型实时生成符合物理约束的三维设计。在车辆设计优化消融研究中,该方法相比传统 LLM-to-3D 模型使目标域设计的物理合规性提升 4.5% 至 106.7%,显著增强了几何新颖性与工程性能。该成果已被 IEEE CEC 2026 接收并发表,为科学和工程领域的生成式设计提供了新的 AI 驱动解决方案。

  11. arXiv · 机器人与计算机视觉45

    CABOT 计算模型让弱能移动机器人在活性网格上自主完成排线、聚集与探索任务

    CABOT 是一种将环境网格设为主动计算介质的新模型,使无需灯光或内存的弱能机器人能在四状态下实现排线与无限探索。该模型在仿真中验证了五状态场静默排线、三状态任意聚集及迷宫引导等能力,证明环境资源而非机器人自身是核心度量。研究通过 19 页论文与 5 幅图示展示了从惯性地板到活性网格的范式转变。

  12. arXiv · 机器人与计算机视觉78

    AstroMemBench:具身航天体记忆系统基准

    AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。

    推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。

  13. arXiv · 机器人与计算机视觉82

    AFTER:一种用于错误驱动保留的具有自适应快慢时间尺度的世界模型

    针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。

    推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。

  14. arXiv · 机器人与计算机视觉75

    多模态训练中涌现的视觉塑造思维:纯文本推理中的因果机制与空间表征分析

    该研究通过跨 6 个模型家族的 10 种多模态配置进行因果消融,对比了邀请心理场景构建的空间意象任务与仅靠符号规则可解的符号操作任务。在 Chameleon-7B 中,消融视觉语言轴投影导致 BIG-Bench Hard 导航任务准确率下降 27.6 个百分点,而布尔表达式保持完整并提升 5.6 个百分点,形成 33.2 个百分点的双离解效应。

  15. arXiv · 机器人与计算机视觉48

    FORGE:具身智能灵巧操控的力感知多粒度控制系统

    FORGE 提出一种无需全身运动轨迹或关节角度参考的力感知多粒度控制系统,仅需稀疏的双腕位姿与粗略运动指令即可部署。该系统结合动量观测器与仿真接触力监督训练的修正策略,在无手腕力/力矩传感器下通过本体感觉估计低频等效交互力并稳定全身校正。实验验证了其在刚性物体持续接触挤压、不同负载下的蹲起搬运任务中的统一控制稳定性及下游扩散策略执行效果。

  16. arXiv · 机器人与计算机视觉38

    AgriSense:虚拟温室中的视觉语言决策支持与机器人干预框架

    AgriSense 框架结合 Isaac Sim 虚拟温室与四足移动操作臂,利用冻结的 DINOv2 和 BERT 编码器联合预测十二项环境参考及干预标志。在源分组测试集上,全模型、去图像及去语言配置均达成 43/44 次区域决策正确率,未体现多模态增量增益;温度与湿度预测误差分别为 0.249 度和 2.03 个百分点。

  17. arXiv · 机器人与计算机视觉82

    从基础 VLM 到多功能驾驶 VLM:一种三元组增量训练方法

    针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。

    推荐理由:提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。