EgoLink:第一人称语言 - 视觉交互式网络知识挑战总结
EgoLink 是 ACM Multimedia 2026 发布的基准,评估模型在第一人称视频中进行社交推理、解析视觉指代并将用户请求转化为工具介导动作的能力。
EgoLink 是 ACM Multimedia 2026 发布的基准,评估模型在第一人称视频中进行社交推理、解析视觉指代并将用户请求转化为工具介导动作的能力。
论文介绍 π^4 作为统一的 4D 场景感知基础模型,能从野外未校准的 RGB 输入(单图、无序集合或视频序列)恢复稠密几何、相机位姿和度量尺度,同时输出 2D/3D 点轨迹及移动物体掩码。系统耦合几何分支与几何条件化的运动分支,在共享骨干网络下约含 05B 参数,单次前向传播即可完成大规模场景的联合重建与跟踪。材料提供数据、训练配方及关键设计选择的实证研究,代码与模型已开源。
推荐理由:该预印本提出统一模型以单张图像或视频序列恢复稠密几何与运动,参数量小于多数基线。
针对单目 RGB-D 视角下严重遮挡导致的 6-DoF 抓取精度下降问题,研究建立了首个遮挡环境目标驱动抓取数据集 TARGO。提出的基于 Transformer 的 TARGO-Net 模型通过引入目标补全模块与场景交叉注意力机制,在所有视觉遮挡等级下均实现了最鲁棒的抓取预测性能。此外,研究证实了目标补全、遮挡物数量及目标最小尺寸除视觉遮挡外也显著影响抓取成功率。
现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。
该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。
推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。
RescueVLM 是基于 SketchVLM 构建的开源、免训练且模型无关的救援工具,支持在本地部署并通过下拉菜单切换底层模型。该框架在德国消防队实地数据及实火演习中验证有效,单次自然语言查询即可将数百张图像浓缩为带 SVG 标注和 GPS 定位的关键帧短名单供指挥官审阅。
Trap Tracker RT 是首个由野外组织拥有基础设施的开源自托管应用,通过邮件或 FTP/SFTP 接收图像并调用 DeepFaune-SSA v1.2 模型进行本地分类与预警。
OpenCV AI Competition 2026 于 11 月 17 日周四上午 9 点(太平洋时间)举行获奖者直播颁奖。本届赛事共有超过 6300 名参赛者,创下历届最激烈竞争纪录,评委面临极具挑战性的评审任务。
本文发布了 COSMO-Bench,包含 24 个源自真实 LiDAR 数据和基础 C-SLAM 前端的数据集,旨在填补多机器人协同定位与建图领域缺乏标准评测数据的空白。该工作已获 IEEE ICRA 会议接收,提供了用于分布式优化算法研究的标准基准。
Iris-Z 是一个通用图像生成器,能在同一骨干网络中同时生成外观和几何信息、从照片估计深度以及将图像绘制到给定深度上。该研究验证了统一架构在单目几何任务上的可扩展性,表明其在不增加专用层的情况下,于既定深度基准上超越了最先进专用模型。作者开源了两个版本的模型供社区使用。
OpenCV 于 2026 年 11 月 12 日举办直播,由 Piotr Skalski 带领观众实地体验 Roboflow Playground。该平台允许用户在自己的图像上运行并对比多种视觉语言模型的结果。此次演示旨在提供关于在本地图片上应用这些模型的实用操作指南。
Map2SLAM 提出一种架构,将冻结的 LingBot-Map 流式推理结果转化为外部持久化 SLAM 状态的观测输入。前端利用因果流式推理跟踪每一帧并筛选关键帧写入状态,后端异步重访过去帧以进行闭环检测与几何细化。
Flex-RSI是一个针对视觉和机器人任务的智能体递归自我改进基准。该基准允许智能体在固定预算下利用反馈改进其解决方案及自身架构(包括提示词、工具和记忆)。评测涵盖感知、推理、机器人操作、3D重建等多个领域,发现当智能体构建自身解决方案时自我改进最有效,且编辑执行器本身对增益有显著贡献。
推荐理由:Flex-RSI基准评测了智能体在视觉与机器人任务中的递归自我改进能力,发现编辑执行器本身对提升效果至关重要。
该研究通过多模态法官对 371 张动机与框架图进行六维评估,其中 369 张经源约束修订后通过保真度检查。结果显示平均清晰度提升 0.428 分但美学连贯性下降 0.111 分,支持研究者主导设计、AI 辅助探索且作者保留责任的结论。相关图谱与评估记录已公开提供下载。
Video-Coder 是首个训练代码驱动的视频生成智能体的尝试,能够自主编写和执行代码来构建动态 3D 场景以提供结构与运动信号。研究设计了专用数据管道和两个高质量数据集(Video-Coder-SFT-6k、Video-Coder-RL-2k),并开发了集成代码执行与 3D 渲染的统一交互环境 Video-Coder Harness。
该预印本研究了在无目标条件下对相机-LiDAR 融合的外参变换进行校正后是否应被下游系统采纳的问题。研究在 Argoverse 2 合成漂移数据上评估了单帧与多帧对齐策略,发现单帧 Canny 对齐在轻度漂移下有害,而多帧对齐虽改善旋转但恶化平移且联合误差指标为负。
推荐理由:该预印本通过日志分离协议评估了无目标外参校正的质量与递归风险,指出单帧对齐在轻度漂移下有害且联合误差指标为负,不支持将其作为可部署的校准门禁。
该论文提出 AbacusGS 方法,通过将高斯点按八叉树分组并存储混合顺序,避免了传统 3D Gaussian Splatting 中每帧对每个点进行深度排序的耗时操作。
论文提出 WebHarbor,这是一个由 153 个可执行且 Docker 化的真实网站环境组成的套件,通过人机协作在确定性控制下高保真地重建了视觉界面、内容和功能工作流。
论文指出现有视频存储范式针对顺序播放优化,导致 AI 训练随机采样时面临解码效率瓶颈。作者提出依赖感知稀疏解码与可选的离线解耦随机访问编码方案,通过重构解码调度与参考结构,将每个请求目标的重建限制在最多三个帧内,独立于 intra 周期。实验显示该方法在保持可比重建质量的同时,加载吞吐量是 LeRobot v3 的 1.45 倍,媒体负载减少 58.7%。
推荐理由:针对大模型训练中视频随机采样导致的解码瓶颈,提出依赖感知稀疏解码与离线解耦编码方案,在保持画质的同时显著提升加载吞吐量并降低媒体负载。
该报告介绍了 WeVisOne-VL(WeChat Vision All-in-One),这是一个通过结构化下一词预测来统一物体级和像素级感知的强大视觉语言模型。
SplatLab 是一个针对 3D Gaussian Splatting 领域的自主研究系统,解决了现有系统在模板限制和可执行性上的不足。该系统能根据提示或论文链接复现基线、提出扩展方案并在 Mip-NeRF 360 等数据集上训练消融实验,同时将手稿中的每个数据点绑定到具体的日志运行记录。
推荐理由:该系统实现了端到端的自主科研闭环,能复现基线、提出扩展并绑定实验数据生成手稿。
针对现有基准未评估以视频为核心源头的深度研究问题,该工作提出 Video-Centered Deep Research Report Generation 任务,要求智能体根据视频和用户请求生成交互式报告并链接关键片段。
推荐理由:该工作提出以视频为核心的深度研究报告生成任务,并开源 OmniDR-Bench 基准与评测体系,为多模态智能体评估提供新工具。
该研究明确定义重用早期治理控制结果的效度条件,并验证了基于 Ed25519 数字签名的“失效关闭”发布门能阻断九成操纵场景。对 714 个公开数据版本控制流水线的回放显示,仅按声明依赖重用结果可避免 83.4% 的执行阶段,但仍有 3.3% 的提交因未声明依赖导致重用错误代码或配置。
论文提出了 S-Agent 2.0,这是一个为现成通用编码代理配备命令行感知工具包的空间推理智能体。其设计原则是帮助视觉语言模型(VLM)闭合证据循环:获取场景证据、在持久化场景记忆中记住它,并用平实的空间语言解释每个读数。
Matrix-Game 4.0 是首个基于“可执行游戏框架”设计的系统,通过轻量级引擎维护世界状态、多模态编码代理生成代码及动态描述,以及基于自回归视频模型的渲染器将低多边形代理转化为高保真画面。
Drezily CEO Divya Manjari 在 OpenCV Live! 230 分享其生产级时尚 AI 系统,该系统已跨 90+ 零售商处理数百万商品图片。演示聚焦如何将杂乱产品图转化为实用造型方案,展示从数据清洗到生成式推荐的全流程技术栈。
研究追踪了七个开源强化学习后训练框架,发现 2025 年 1 月至 2026 年 6 月期间仅 37 篇通用方法被纳入。被采纳的论文更常涉及 30B 以上参数策略及损失函数系数调整,且多数未获维护方回复。研究数据已作为追踪器开源,链接训练失败记录与框架贡献规则。
论文介绍 ReTrace 评估框架,通过受控错误注入与目标导向的动作回放,研究计算机操作代理的模型化恢复能力。研究发现当前代理无法利用其潜在的恢复能力,而准确的模型恢复可带来端到端性能提升。代码与数据集已开源。
针对连续空中搜索中因证据矛盾导致假候选持续触发行动的失败模式,该文提出 SkyAgent 框架并引入可修订目标记忆机制。该机制通过关联证据、折扣相关视角及维护暂存/确认/拒绝三种状态来修正候选项,并将生成的航点与源候选绑定以无效化过时目标。
Hugging Face Daily Papers 发布了一篇题为《Muse Glimmer 30B: An On-Device Agentic Model》的论文,介绍了一个开源的 30B 参数因果语言模型。
论文介绍 MJev-Spatial,这是一个基于 Qwen3.5-4B 构建的 System 1 多模态决策模型,旨在解决空间关系判断、距离测量和物体定位等任务。
推荐理由:该工作提出 MJev-Spatial,通过原生注意力匹配将空间理解任务转化为分类问题,在保持高精度的同时显著提升了推理速度。
Hugging Face Daily Papers 收录了论文 Persistent Planar Memory for Video World Models(NeurIPS 2026 接收)。
推荐理由:该工作提出用平面基元构建持久化 3D 记忆,在视频生成中实现紧凑且几何显式的深度与表面表达。
Mothbox 是一款由 Digital Naturalism Laboratories (Dinalab) 开发的低成本低功耗开源昆虫监测设备,支持工厂组装 Pro 版及完全 DIY 构建。
论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。
现有空间推理基准主要测试对输入中可见关系的感知,而真实世界需要预测性空间推理以构建场景并推演干预后的未见结果。该研究引入 SpaceCast-Bench 基准,基于观察 - 转换 - 推断框架,涵盖 182 个现实场景中的 3,862 个问题及 16 种任务类型。
论文提出 RT-DETR-World,这是一种紧凑的 DETR 风格检测器,旨在通过文本类别查询识别训练未见类别,同时保持实时效率。研究构建了 GroundingCapv2 数据集,包含三个层级的监督信号:标准类别名称、传达实例级语义的对象描述以及传达对象关系和场景上下文的图像描述。
Google DeepMind 发布 EmbeddingGemma 2,这是一个基于 Gemma 4 架构的开源多模态嵌入模型,采用 Apache 2.0 许可。
推荐理由:DeepMind 发布 EmbeddingGemma 2,统一处理文本、代码、音视频的多模态嵌入模型,支持端侧推理与离线 RAG。
该论文定义了个人代理的概念框架,并介绍了 nanoMuse,这是一个基于 GPL-3.0 许可的开源项目,旨在让每个用户拥有的设备(手机和电脑)都能运行独立的代理实例。
推荐理由:报告定义了个人代理的五项核心问题,并基于 Meta Muse 公开记录构建了 GPL-3.0 许可的开源替代方案 nanoMuse。
何恺明团队发布论文NAT-ARC,提出一套纯视觉的ARC解题方案。该方案不依赖LLM,利用ImageNet上的自然图像(如猫狗)进行MAE预训练以获取视觉先验,再迁移至抽象格子推理任务。
推荐理由:何恺明团队提出NAT-ARC,利用ImageNet预训练打破纯视觉模型在抽象推理任务上的scaling瓶颈。
论文 Omni-Embed-Mini 提出一种 0.9B 参数模型,能在不更新任何文本侧参数的情况下将文本、语音、音频、图像、视频及富视觉文档映射到共享空间。其核心思路是利用冻结骨干网络对稠密级联标题的嵌入作为教师信号,配合轻量投影器和 LoRA 适配器完成对齐。