地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
该论文提出 Decision-Guided Speculative Perception(DGSP)方法,利用规划器对假设物体的反应探测低分辨率场景中的决策敏感区域,仅对这些区域及当前动作依赖的检测进行高分辨率验证。
奥比中光与 ThinkRobotics 在班加罗尔科技峰会首次全面展示其机器人免数据收集硬件平台,整合 EGO、WristCam、UMI 及 Hub 设备。该平台提供 1080p 以上高分辨率采集与小于 1ms 的多设备同步精度,满足印度市场对轻量化穿戴设计及多模态数据的需求。
DEEP 基准通过 KITTI 和 nuScenes 数据集评估感知计算对下游决策的实际增益,发现 34%–54% 的感知模式升级反而增加损失。研究指出仅凭漏检率提升选择信号会导致平均测试决策增益降低 7.4%,且引入 20% 延迟预算后仅轻量级路由器优于随机策略。该工作强调应以预算受限的决策预言机为基准,而非将全精度推理视为上限。
该论文研究了驾驶视觉 - 语言 - 动作(VLA)模型中导航指令的收集与评估方法,区分了行动前发出的前瞻性指令和行动后标注的回顾性标签。作者开发了 ADVLAT-Engine 同步语音指令、道路场景视频和车辆轨迹,并在 48 条回放路线上对比了三款导航应用。
该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。
推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。
该论文系统研究了三种预训练规划器(Alpamayo、ReCogDrive-IL 和 HDP),发现其内部状态在第一次去噪评估后已能支持有效的候选者选择,而后续去噪并不总能提升选择质量。基于此提出的早期选择方法仅对选定候选者完成去噪,相比对所有候选者完全去噪减少了计算量,并在所有三种规划器上提升了开环轨迹质量和闭环驾驶得分与进度。
推荐理由:研究证实扩散规划器在第一次去噪后即可进行轨迹选择,该方法能显著降低计算量并提升 Alpamayo 等模型的闭环驾驶表现。
现代自动驾驶系统主要依赖摄像头、雷达和激光雷达进行环境感知,但这些模态在光照或天气方面存在局限。本文设计了一种水平排列的麦克风阵列作为车辆的“耳朵”,实现了对附近移动车辆在鸟瞰图(BEV)表示下的定位,能够捕捉其相对方向和距离。
迈来芯发布 MLX81132 可编程 24 通道芯片,内置 MCU 与 10BASE-T1S 通信支持集中式控制,单颗可驱动 48 路独立单色或 16 颗 RGB 像素以显著降低硬件成本。
AimLock CEO Bryan Bockmon 指出,得益于智能手机技术带来的算力提升及双用途技术复用,自主目标系统成本大幅降低且不再依赖专用硬件。多模态传感器融合(可见光、热成像等)通过机器学习整合数据流,显著提升了复杂环境下的检测与分类性能。公司坚持采用“辅助目标识别”而非全自动化决策,以适配美国军事政策术语并规避自主武器条约的政治争议。
阿里巴巴于11月16日发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力和百万上下文支持。该模型采用基于稀疏注意力的MoE架构,激活参数仅71B,在CodeArena前端编程盲测中位居全球第六,在Agents' Last Exam等智能体评测中处于领先梯队。
推荐理由:阿里发布Qwen4-Max,总参数2.4T且激活仅71B,在CodeArena等权威评测中表现领先,并支持持续交付与运筹建模。
针对V2X协作感知中基于简单空间形变导致语义错位及对位置噪声敏感的问题,本文提出插件式模块RSSA。该模块通过语义变换块校正语义不一致,利用概率空间采样进行空间形变以增强鲁棒性,并引入相对变换增强策略辅助训练。实验表明,该方法在清洁与含噪位置配置下均大幅优于最先进方法。论文已获NeurIPS 2026接收。
针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。
推荐理由:提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。
FloCOS 提出一种基于条件流匹配的框架,将前向占用集表示为随时间变化的半空间凸多边形并集,以解决现有方法覆盖不足或过于保守的问题。在 Waymo Open Motion Dataset 上的评估显示,该方法生成了高覆盖率且更紧凑的集合,交互完成率优于基线。真实车辆实验进一步证实了其在交互式场景中支持无碰撞规划的能力。
论文提出 CARE-Drive(Coupled Alternating Refinement for Ego-trajectories),旨在通过物理专业化与协调机制改进端到端自动驾驶中的轨迹预测质量。
推荐理由:提出 CARE-Drive 方法,通过位置与航向的物理专业化分解及交替优化,在 NAVSIM v1 上提升轨迹预测性能。
MiniMax开源了旗舰图像生成模型H3-Image,该模型原生支持16MP(4096×4096)分辨率,推理速度约10-20秒。其核心能力包括去AI味的高保真人脸细节、最多16张参考图输入以维持角色一致性,以及独特的世界理解能力:可自动生成正交三视图和机械爆炸图,甚至能生成包含正确解题步骤的微积分试卷。材料指出该模型已开源且API调用价格仅为竞品50%至70%,首周16MP请求享五折优惠。
针对单车视角受限导致的遮挡与检测失败问题,该研究提出一种无需传输完整特征图或密集传感器数据的高效协同感知框架。该方法通过优化通信开销,旨在解决现有方案阻碍实际部署的瓶颈,为复杂交通场景下的安全运行提供新路径。
针对视觉观测受遮挡、运动模糊及噪声影响导致低质特征传播的问题,提出 RCT-AD 框架。该框架引入可靠上下文感知模块估算帧级可靠性,利用可靠性引导的时间记忆机制选择性保留可信信息;当当前观测不可靠时,对齐并整合历史高可靠性特征以构建稳定的时序 BEV 表示。
KITScenes 多模态数据集发布,包含高分辨率全局快门相机、400 米外长距激光雷达、4D 成像雷达及冗余 GNSS/INS。其 HD 地图据称最完整,首次将交通信号灯等元素以三维拓扑连接形式映射至重投影精度水平。
推荐理由:KITScenes 数据集发布高保真多模态数据与 HD 地图,填补了地理多样性与长距雷达空白。
作者发布 CROWD 数据集,收录来自 YouTube 的 10.7 万段未编辑城市行车记录仪片段,覆盖 238 个国家和地区、超 3.6 万小时视频。数据排除事故与剪辑内容,仅保留常规驾驶场景,并附带时间、车型及 80 类目标检测与多目标跟踪的预标注 CSV 文件,支持跨域鲁棒性与交互分析研究。
推荐理由:该数据集提供全球城市行车记录仪片段及预标注目标,支持跨域鲁棒性研究与无视频重分发下的可复现基准分析。
Autoregressive VLA planning usually predicts continuous trajectories as the final output。
该研究提出一种混合模型架构,结合传统目标检测、视觉语言推理及物理几何模块,在真实城市交通数据上实现了超过 80% 的驾驶关键盲点识别准确率。系统通过思维链提示机制增强可解释性,使基于对话的感知共享成功率超 90%,为大规模部署提供了带宽高效且可扩展的替代方案。
Seedream 5.5 在连续编辑 100 轮图像任务中表现优于 GPT-Image 2.6,支持透明图直出、图层拆分及多语言渲染,单张 2K 方图编辑成本约 0.28 元。该模型已在即梦、豆包和豆包工作上线,具备多图融合与复杂动作迁移能力,能在 1 分钟内生成电影感画面并精准处理小字海报。
11 月 9 日,百度文心首次披露递归自我改进系统 ERNIE Evolve,该系统能自主提出研究方向、开展实验并积累经验。目前 ERNIE Evolve 已应用于即将发布的文心 5.5 Flash 推理优化,在昆仑芯 P800 低时延场景生成速度提升至基线 623.6%,确定性推理吞吐提升至基线 133.7%。
推荐理由:百度披露递归自我改进系统 ERNIE Evolve,已用于文心 5.5 Flash 推理优化并开源基座版本。
SpconvTransformer 模型通过融合卷积分支的局部特征与 Transformer 分支的全局上下文,在车辆激光雷达 3D 目标检测和鸟瞰图检测任务中分别达到 81.45% 和 88.09% 的平均准确率。该架构将方向相似度提升至 91.10%,显著优于现有算法,有效解决了三维卷积神经网络感受野受限的问题。论文发表于 CAIBDA 2026,代码与权重暂未提及开放许可。
针对自动驾驶在黑暗、雨雾等退化视觉条件下的道路异常检测需求,该研究评测了 YOLOv8n、YOLOv12n、RT-DETR 和 Faster R-CNN 四种架构。
论文提出 Traffic-VL,这是一个拥有八亿参数的视觉语言模型,旨在直接利用同步的多视角图像和自然语言相位描述做出交通信号决策,无需中间结构化状态。该方法基于 SynTra-V 生成的逼真多视图仿真数据进行离线强化学习微调,并在闭环仿真中冻结视觉编码器进行在线策略优化。
针对现有推理分割框架缺乏场景特定意识的不足,本文提出 DSRS(Driving Scene Reasoning Segmentation)任务及基准数据集,并发布 DSRS-Net 新架构。
11 月 4 日,未来黑科技正式发布透明全景显示技术(TPHUD),通过在汽车前挡风玻璃增加纳米级光子晶体膜,实现无需底部黑色涂层的全幅横向信息显示。该技术利用光子晶体膜对特定波长光线的选择性反射,在保持风挡通透性的同时兼顾显示亮度、清晰度与车内视野。目前 TPHUD 具体量产车型及商业化时间表尚未披露。
论文提出了 BEVTraj 框架,旨在解决自动驾驶中依赖高精地图进行轨迹预测的成本高、更新难问题。该方法直接利用原始多传感器数据构建鸟瞰图(BEV)特征,通过可变形注意力机制选择性聚合稀疏的空间上下文,并结合稀疏目标候选提议模块生成自适应的目标假设。实验在 nuScenes 和 Argoverse 2 Sensor 数据集上验证了其在无地图设置下的竞争力,代码已开源。
arXiv 论文发布 CLOCs-R,作为 CLOCs 候选级融合框架的扩展,引入雷达证据以增强远距离物体检测。研究在 KITTI 和 aiMotive 数据集上验证了该方法能改善 30-50 米距离的检测性能,但指出超过 50 米后增益有限且与纯 LiDAR 方案统计持平。分析归因于雷达特征区分度不足、远距训练正样本稀缺及相机证据弱等物理限制。
该研究针对摄像头在低光和恶劣天气下性能下降的问题,利用 HD 雷达的高可靠性及 LiDAR 的精确测距优势,提出一种早期融合架构,将相机图像与前视视角的点云数据结合。实验基于 RADIal 数据集进行,结果显示该融合方案在车辆检测和自由可行驶空间分割任务上,表现优于最新的独立模型及其他融合模型。
FSDAM 框架仅需 90 个标注示例即可联合预测空间注意力并生成结构化解释。该方法将注意力分解为场景上下文、当前焦点、预期下一焦点及因果解释,并通过双路径架构与训练时视觉语言对齐机制缓解任务冲突与数据稀缺问题。论文已在 arXiv 发布并被 IEEE/CVF WACV 2027 录用,展示了在多个驾驶基准上的零样本泛化能力。
针对自动驾驶中复杂天气与光照条件下的高维光谱数据处理挑战,本文提出了基于多尺度注意力机制(MSAM)的方法。通过在 UNet 跳跃连接中集成三个不同核尺寸(1-11)的并行一维卷积及自适应特征聚合,实验表明该方法在多个高光谱数据集上平均 mIoU 提升 2.32%,mF1 提升 2.88%。
基于 WaymoQA 数据集对 Gemma-4-12B 进行零样本诊断,结果显示 GRPO 微调使准确率从 73.78% 提升至 75.43%,但安全关键危害预测出现 -1.82 pp 的衰退。研究揭示了常规感知增益可能掩盖边缘案例风险,且未加权结果奖励存在饱和现象。该工作为多视角驾驶问答提供了可复现的诊断分析框架,而非宣称优于监督微调或特定 grounding 机制。
针对全球超 22 亿视障人士及分心行人的双重挑战,该研究提出基于 Kotlin 的 Android 应用,利用经剪枝、量化和早退分支优化的 YOLOv8 检测器,在中等配置手机上将推理延迟从 3.2 秒降至 0.42-0.48 秒并保持 0.81 召回率。
商汤于 2026-11-02 发布限时免费的 SenseNova 6.8 Flash,该模型在 TeamBench、DataAnalysis2.0 等基准测试中排名第一。实测显示其能独立完成动态网页设计、3D 海报生成及 PPT 制作任务,并在智能办公场景中主动发现旧数据错误并提醒用户核对。
小米内部创新团队推出成本约 150 元的开源 AI 硬件 HachimoDock(哈基米机),集成个性化桌宠、语音操控电脑端 Agent 及智能家居联动能力。该设备已在 GitHub 公开源码,并在嘉立创平台提供硬件物料清单与装配教程,引发配件涨价与大量复刻攻略。
针对现有 BEV 地图预测模型缺乏对交通参与者理解、在高遮挡下表现不佳的问题,本文提出 ObjectGuidedMap 多任务架构。该模型在 Mask2Map 基础上增加物体检测分支,利用可变形注意力与交叉注意力机制实现 BEV 特征与实例查询间的跨任务信息融合,使地图预测能利用物体上下文并抵抗交通参与者造成的遮挡。
推荐理由:提出多任务架构联合预测 BEV 地图与 3D 物体,通过跨任务特征融合提升高遮挡场景下的地图预测精度。
国产芯片公司天数智芯正式发布基于天枢架构的云端通用GPU天垓300及端侧产品彤央TY1200。现场实测显示,天垓300在长上下文推理、强化学习训练及物理仿真任务中性能超越英伟达H200;彤央TY1200在本地生成视频、合同审查及基于MuJoCo-Warp的物理仿真(MicroDuck小鸭子)等端侧任务中,性能优于英伟达Jetson Thor T5000。