ATLAS:一种多程序基准与手术解剖分割的上下文感知模型
针对微创手术中解剖结构识别受限于小样本数据集和自然场景方法的痛点,该工作发布了包含 121,018 个标注帧的手术视频语义分割数据集 ATLAS-120k。同时提出了 ATLAS 模型,利用域内基础模型嵌入并引入程序与手术阶段的上下文查询及帧间传播机制。
推荐理由:该工作发布了包含 12 万帧的手术解剖数据集 ATLAS-120k 及上下文感知模型 ATLAS,在分割精度与时序一致性上超越现有基线。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
针对微创手术中解剖结构识别受限于小样本数据集和自然场景方法的痛点,该工作发布了包含 121,018 个标注帧的手术视频语义分割数据集 ATLAS-120k。同时提出了 ATLAS 模型,利用域内基础模型嵌入并引入程序与手术阶段的上下文查询及帧间传播机制。
推荐理由:该工作发布了包含 12 万帧的手术解剖数据集 ATLAS-120k 及上下文感知模型 ATLAS,在分割精度与时序一致性上超越现有基线。
针对超高分辨率(UHR)遥感视觉问答中在大场景下定位细粒度证据的挑战,本文提出 EarthJev 框架。该框架将区域评分与答案生成分离,利用空间指针验证器引导探索或跳过搜索,并通过轻量级头部对冻结表征的候选视图进行批量打分。
推荐理由:提出 EarthJev 框架,通过分离区域评分与答案生成及冻结回答模型,在超高分辨率遥感问答任务中显著降低延迟并提升准确率。
针对视觉语言模型推理时感知噪声干扰问题,作者提出 QCVS 方法,通过双差分激活探测隔离任务特定方向,利用双阈值门控机制仅在必要时更新隐藏状态。在 Qwen3.5 和 DeepSeek-VL2 上的实验显示,该方法在稀疏覆盖下实现最高约 13.98% 的修复率,同时将副作用降至 0.41%,无需真值监督即可提升多模态推理准确率。
推荐理由:提出无需真值监督的推理干预方法,在稀疏覆盖下实现高精度修复与低副作用。
论文提出 MechEval 基准和 WARC 模型,研究世界模型在陌生环境中通过有限交互学习新机制的能力。结果显示,WARC 模型在半数情况下仅需约 80 次曝光即可达到 80% 的预测准确率,且测试时训练能将闭环探索效率从 0.15 提升至 0.46。该工作为 ARC Prize 2026 论文赛道投稿,代码与权重已开源。
推荐理由:该研究在 ARC-AGI-3 基准上量化了世界模型学习新环境机制所需的曝光次数,并展示了测试时训练对闭环探索效率的提升。
针对现有几何基础模型(如 VGGT)确定性操作且无法生成超出观测支持的合理几何结构的局限,本文提出在潜在空间直接进行流匹配的方法。该方法利用学习到的 3D 先验,无需显式表示(如高斯、网格或视频 VAE 潜变量),并通过黎曼流匹配尊重潜在空间的几何结构(零均值超球面乘积流形)。
推荐理由:该方法在几何基础模型的潜在空间直接进行黎曼流匹配,无需显式表示即可生成合理的 3D 几何结构。
EGOSTREAM 是一个用于评估第一人称视觉中连续情节记忆的流式基准测试工具。该基准包含 2,250 个精心策划的问题,覆盖细节、空间、时间、事件、社会、因果及前瞻性记忆七个认知维度,并引入答案有效时间窗(AVW)机制以区分模型遗忘与世界状态变化。
推荐理由:该基准通过引入答案有效时间窗和统一流式多模态框架,揭示了当前记忆管理策略在细粒度细节与长时回忆上的显著差异。
论文提出 SFHand,这是一种首个通过流式第一人称 3D 手部动作预测进行表征学习的方法。该方法利用自回归架构从视频和语言指令中连续预测未来手部状态(包括手部类型、2D 边界框、3D 姿态及轨迹),并配备 ROI 增强记忆层以捕捉时间上下文。
推荐理由:提出通过流式第一人称手部动作预测进行表征学习,开源了配套数据集与模型,在仿真及真实世界操作中均取得领先性能。
该研究针对现有公开冠状动脉窦口标注缺失或仅隐含的问题,为最大的公共冠状动脉分割数据集 ImageCAS(涵盖1000名患者)补充了精确的窦口标注与基于这些新地标生成的中心线图。
推荐理由:该工作为最大的冠状动脉分割数据集 ImageCAS 补充了窦口标注与根植中心线图,并验证了开放权重模型在定位任务上的性能。
针对现有方法在需要长期记忆与规划的任务上难以超越人类表现的问题,本文提出测试时基于模型的强化学习方法,利用测试时的梯度下降将单集观测编码进世界模型参数,使智能体能为每个单集学习独立的世界模型。研究先在二维简化版记忆迷宫环境中验证概念,随后在三维领域实现该基准的新最先进水平,并在 DeepMind Control 和 Atari 100k 等非记忆基准上保持强性能。
推荐理由:提出测试时基于模型的强化学习,通过梯度下降将单集观测编码进世界模型参数以增强长期记忆能力。
该论文提出了 S-JEPA 模型,将联合嵌入预测架构中的辅助变量 z 从固定确定性 token 扩展为随机潜变量。通过训练时学习后验分布和推理时使用上下文条件先验分布,该方法在无需解码器和重建的情况下实现了掩码图像预测。研究结果表明,引入随机性不仅保持了与确定性 I-JEPA 相当的表征质量,还显著提升了错误相关的预测不确定性和生成结果的多样性,并输出了空间结构化的不确定性图。
推荐理由:提出将辅助变量改为随机潜变量的 S-JEPA,在保持表征质量的同时提升预测不确定性估计与生成多样性。
作者提出了 PoseRieFlow 框架,用于条件生成全身 3D 人体姿态。该方法直接在 SMPL-H 关节旋转的乘积流形上构建生成模型,利用黎曼测地线将样本从各向同性高斯先验传输至数据分布。
推荐理由:该工作提出基于黎曼流匹配的紧凑框架,在保持手部细节的同时实现了全身姿态生成中最低的关节运动学误差。
该研究将基于 YOLO26n 检测与提示分割的黄瓜长度测量流水线部署于 NVIDIA Jetson Orin Nano 和 Raspberry Pi 4,并与 RTX 3050 Ti 工作站对比。
推荐理由:原文给出了 RGB-D 黄瓜尺寸测量在 Jetson Orin Nano 与 Raspberry Pi 4 上的精度、吞吐与能耗实测数据,为低算力边缘部署提供选型依据。
针对视觉语言动作(VLA)模型在复杂三维场景中执行长程任务时面临的记忆噪声问题,该研究提出了一种受海马体启发的记忆机制。该方法首先通过语义整合将大量情景经验压缩为关键语义记忆;其次利用剪枝机制移除被语义记忆覆盖的冗余情景记忆以释放容量;最后通过灵活的记忆组合增强跨场景泛化能力。
推荐理由:该工作提出海马体启发的记忆机制,通过语义整合与冗余剪枝提升 VLA 模型在复杂三维场景中的长程任务成功率。
针对关键点易受遮挡和截断的问题,本文引入物体关键线检测任务,预测每个实例的固定语义有序无限直线集。研究扩展 YOLO 以支持连续 Hesse-normal 形式的参数化输出,并定义物体关键线相似度(OKLS)作为评估指标与回归损失。在视觉起降的跑道感知实验中,该方法在四种线参数化方案中检测精度最高,且能直接集成到标准 YOLO 头中而不降低关键点性能或增加显著延迟。
推荐理由:提出基于 YOLO 的物体关键线检测框架,在跑道感知任务中实现高精度且无额外延迟。
论文介绍了 A2-MEAS 具身多智能体框架及 A2-WLA 动作模型,利用代码作为扩展接口结合 MetaBrain 进行训练监督与运行时引导。在 BEHAVIOR 2026 基准上 Q-score 达 0.5755-0.6411,RoboTwin 2.0 平均成功率超 93%,真实机器人长程任务失败后恢复率从 8% 提升至 82%,训练吞吐量提升 4 倍。
推荐理由:该框架通过代码接口与冻结权重的自适应设计,在仿真与真实机器人任务中均实现了显著的性能提升。
针对联合嵌入预测架构(JEPA)难以清晰捕捉物体形状与边界的局限,本文提出 LEF-JEPA 方法。该方法通过目标引导的潜在恢复学习空间结构,并利用相对能量约束将监督转移至视觉编码器;能量模块仅在预训练阶段使用,推理时无额外开销。
推荐理由:提出 LEF-JEPA,通过目标引导的潜在恢复与相对能量约束增强空间结构,在 CIFAR-10 预训练及冻结编码器评估中优于 V-JEPA2.1。
论文 MESAM 旨在利用 Segment Anything Model 2 (SAM2) 解决少样本分割任务中支持集与查询图像外观差异大的挑战。研究提出 Memory-Enhanced SAM2 方法,首先引入语义 - 视觉记忆生成模块构建查询语义、前景视觉及支持自适应记忆,随后通过交互式语义记忆细化模块补充细粒度细节并抑制背景误激活。
推荐理由:针对 SAM2 在少样本分割中因外观差异导致记忆匹配失效的问题,提出通过语义 - 视觉记忆生成与交互式细化模块提升性能。
针对鱼眼镜头效应和分析器不完美导致的偏振测量退化问题,作者提出了一种联合镜头 - 分析器校准方法,通过统一八参数公式显式建模入射角依赖的镜头透射率。该方法仅需手持户外序列即可估计相机帧间旋转并实现偏振校准,无需专用设备或预设天空模型。
推荐理由:提出了一种仅需手持户外序列即可完成鱼眼镜头偏振校准的方法,无需专用设备或预设模型。
VoluCompose 是一种免训练、模型无关的框架,旨在解决处理完整医学体积图像成本高昂的问题。该方法将内容选择与 Token 预算分配解耦,利用双曲 Token 组合模块和容量控制模块优化视觉编码器的注意力分布。
推荐理由:VoluCompose 提出免训练框架,在保留 22.78% 视觉 Token 时质量达未压缩参考的 121.68%,显著优于基线。
Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。
推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。