SurgQ-VLM:面向手术视频的问答模型发布
论文提出 SurgQ-VLM 模型解决手术视频问答中时序证据丢失与答案结构异构难题。该模型采用问题感知的双流压缩器将视觉 Token 缩减 49 倍,并结合 GRPO 强化学习与答案类型感知奖励机制。
推荐理由:提出 SurgQ-VLM 模型,通过问题感知的双流压缩与答案类型感知奖励机制,在手术视频问答任务上显著超越零样本基线。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文提出 SurgQ-VLM 模型解决手术视频问答中时序证据丢失与答案结构异构难题。该模型采用问题感知的双流压缩器将视觉 Token 缩减 49 倍,并结合 GRPO 强化学习与答案类型感知奖励机制。
推荐理由:提出 SurgQ-VLM 模型,通过问题感知的双流压缩与答案类型感知奖励机制,在手术视频问答任务上显著超越零样本基线。
该报告针对计算机图形学中代理系统研究术语分散、难以系统理解的挑战,提出两项贡献:一是建立涵盖多样化任务的代理系统统一分类法;二是开发辅助人类研究者大规模分析现有及新发表论文的代理文献系统。基于此,报告分析了新兴研究趋势,并讨论了跨任务协调代理与工具、设计人机协作界面与表示、维持长程规划与细化以及可靠评估交互式图形系统等开放挑战。材料为预印本论文,未涉及具体产品发布或真实部署结果。
推荐理由:报告提出计算机图形学代理系统统一分类法与文献分析工具,梳理多任务趋势并探讨人机协作、长程规划及评估等挑战。
该研究引入生物一致性作为评估科学生成模型的原则,通过文本条件扩散框架联合生成显微镜图像和实例掩码。研究发现密度和融合度被一致保留,但形态学存在分歧,且强图像 - 掩码一致性可与较弱的条件控制共存。材料为预印本论文,未报告真实机器人部署结果或具体产品发布。
推荐理由:提出生物一致性评估原则,揭示生成显微镜图像在形态与条件控制上的特征依赖行为。
针对扩散 Transformer 计算成本高且特征缓存会损害生成质量的问题,论文提出 Z-Cache 方法。该方法观察到全步计算后误差锐减的规律,设计为先预测未来缓存步骤的特征并执行全步计算,再基于前后计算结果回退修正预测,从而在维持高质量生成的同时实现加速(如 FLUX-dev 文生图任务达 6.22X)。代码已开源。
推荐理由:提出 Z-Cache 方法,通过自反思机制修正特征缓存误差,在保持生成质量的同时显著加速扩散模型推理。
针对常规成像条件下面部关键点检测受遮挡、光照不足及大姿态变化影响的问题,本文提出 RCFormer 模型。该模型通过可见性加权全局摘要(VCC)、注意力引导的上下文聚合(VGCA)及空间残差修正(SRC)三个组件增强潜在补丁恢复的可靠性,并将恢复的热图作为结构线索输入现有检测网络。
推荐理由:RCFormer 通过可见性加权与空间残差修正增强上下文恢复,在遮挡场景下提升面部关键点定位精度。
针对预训练流匹配模型难以适配编解码器退化轨迹的问题,论文提出 RIFT 框架以解决压缩依赖的方向失配。该框架引入残差几何诱导器(RGI),利用解码器可见的编码线索将预训练流预测转化为内容自适应的恢复更新,并整合时间步条件、全频段残差强度估计及方向增益调制。在三个公开视频压缩基准上的实验表明,该方法优于现有的生成式视频压缩方法。代码已开源。
推荐理由:提出 RIFT 框架,利用解码器可见的编码线索自适应修正流预测方向与幅度,在三个公开基准上优于现有生成式视频压缩方法。
针对自回归视频时序定位模型存在‘起点决定终点’的性能不对称问题,论文提出FinishStrong两阶段后训练框架。该方法通过在线起点监督微调(Online-start SFT)和条件树GRPO算法,将终点奖励与起点惩罚在数学上解耦,专门优化从错误起点开始的后续预测能力。
推荐理由:提出FinishStrong框架,解决视频时序定位中起始错误导致终点性能下降的问题。
论文介绍 CompliantBot 框架,解决人形机器人在需对外力屈服的同时恢复原任务的难题。该方法通过状态依赖的交互力场耦合负载与运动,利用互补奖励协调屈服与任务恢复,无需预构造合规数据或目标轨迹。实验显示,CompliantBot 在恒定拉力下屈服更远、弹簧相互作用载荷更低,且在强拉力下任务完成率最高、关节机械功率最低。
推荐理由:提出无需预构造数据的合规训练框架,在保持任务执行能力的同时实现全身顺应性。
论文提出了 HuG 框架,旨在解决人形机器人在自眼视角下目标遮挡及全身协调运动难题。该框架通过“感知 - 对齐 - 抓取”流水线耦合感知与动作,利用控制器在环的动力学模拟筛选训练数据,剔除会导致部署控制器失稳的 73% 仅满足运动学有效的抓取方案,从而学习符合动力学可行性的 affordance。
推荐理由:该工作提出 HuG 框架,通过闭环动力学筛选训练数据,使策略在零真实演示下于多层级货架任务达到 87.5% 成功率。
论文提出 dKV Forcing 方法,旨在预训练因果视频生成器中从共享骨干网络学习专用的记忆表示。该方法利用未来读取来训练写入特定的低秩残差,将记忆写入与生成过程分离。
推荐理由:提出 dKV Forcing 方法,通过可微缓存分离生成与记忆表示,在降低显存和训练周期的同时提升长视频生成的美学质量。
针对带宽受限的空中相机,传统基于阈值的感兴趣区域(ROI)编码易丢弃包含微小目标的低分区域。该方法提出率 - 效用区域编码(RUO),依据预期检测效用与比特成本的比值决定是否发送及质量等级,无需训练模型且解码仅需数毫秒。
推荐理由:提出一种无需训练模型的区域编码方法,在带宽受限场景下显著降低小目标检测的比特消耗。
论文提出 MoPort,旨在让运动语言模型(MoLMs)直接处理单目视频的二维观测数据。方法引入成对视角对齐(PVA)和相机调制编码(CME),以解决从 2D 到 3D 的维度差距及视角变化带来的歧义。
推荐理由:提出 MoPort 方法解决单目视频三维动作建模的视角与深度歧义问题,在 HumanML3D 等基准上优于现有基线。
作者提出 See, Think, Use 协议,用于追踪视觉语言模型的每个回答是源于感知、推理还是利用感知信息。该协议通过定位探针和文本替换探针测量“看”与“想”,并利用反事实图像对计算“用”的比率。在两个模型家族和六个数据集上验证显示,当模型回答违背常识先验时,强制其先进行定位可修复此类失败;按阶段分配计算资源能以更低成本接近最佳均匀策略。作者将开源代码、提示词及每问输出。
推荐理由:该协议通过额外提问诊断 VLM 的感知与推理失败阶段,无需访问模型权重即可指导测试时计算分配。
该研究量化了由 GPT-6-Astra、RPent 和 pi0.5 生成的 80 个 LIBERO-PRO 任务集的工作负载,发现视觉语言大脑的长上下文 KV 缓存会挤占动作策略的执行资源。在 H800 GPU 上,静态并发上限可将吞吐量从约 2.4 提升至 5.00-5.55 任务/分钟,并满足严格的动作截止时间要求。
推荐理由:论文量化了多机器人集群中视觉语言大脑与动作策略的并发资源冲突,提出基于工作负载特征的准入控制原则。
该论文提出了 FLUENT(Framework for Localized, Uncertainty-Aware Explanations in Normative Terminology)框架,旨在通过领域特定概念、视觉证据和专家知识来解释计算机视觉模型的图像分类结果。
推荐理由:提出 FLUENT 框架,将领域规则与模型预测结合生成可解释的视觉证据。
论文提出 Path-preserving Time Scaling (PTS),一种针对冻结动作分块策略的无需训练执行层。该方法将机器人运动视为参考路径的时间重参数化,通过解码器确定性地处理重规划并进入推理消耗进度,同时保持机械臂速度以匹配夹爪移动速率。
推荐理由:提出无需训练的 PTS 执行层,解决 VLA 模型推理延迟导致的停顿与低速问题,在 LIBERO 基准上显著提升吞吐量。
论文提出了 DriftingPlanner,这是一种基于漂移损失训练的轨迹规划器,无需坐标回归项即可通过一步推理解码自车轨迹。该方法将类条件图像生成的漂移技术迁移至规划场景,利用每场景的吸引 - 排斥场机制,在 NAVSIM navtest 基准上实现了 93.75 PDMS 的最优性能,其单步推理结果与最佳扩散或流匹配设置(需十步推理)仅差 0.13 PDMS。
推荐理由:提出 DriftingPlanner,通过训练端一步生成器实现端到端轨迹规划,在 NAVSIM navtest 上达到 SOTA 性能。
该论文揭示了大型视觉语言模型(LVLMs)在推理时使用视觉标记压缩时,传统后门会被激活而暴露风险。作者提出 StripWake 项目器仅后门方案,通过配对清洁监督与随机压缩视图并冻结良性教师对齐早期注意力,实现在全标记审计下保持低攻击成功率而在未见过的压缩器中高效触发,且无 CIDEr 损失。
推荐理由:揭示大模型推理压缩会激活潜伏后门,提出 StripWake 方法在审计时保持休眠而在压缩后触发。
针对低层控制器不可访问的位置指令机械臂重复跟踪难题,作者提出可微分迭代学习控制(Diff-ILC)框架。该方法通过一次离线辨识闭环微分模型,在每次物理执行间利用二次规划计算可行修正并定义任务级目标,借助隐式微分实现参数更新而无需额外机器人动作。
推荐理由:提出一种无需底层控制器访问的在线双层框架,在两次迭代更新后显著降低关节与笛卡尔空间误差。
该研究提出 Auriga,一种任务无关的代理框架,旨在解决视觉语言模型作为机器人策略时的规划 - 执行鸿沟问题。在 RoboDojo 平台上,Auriga 无需目标任务试错或重置即可消除 68.3% 的执行差距,使 GPT-6 Astra 的成功率从参考控制界面的 22.5% 提升至 76.2%,并在榜单上以 57.7% 的成功率和 64.0 分排名第一。
推荐理由:报告提出 Auriga 代理框架,在零样本操作任务中显著缩小规划与执行差距,提升 RoboDojo 榜单成功率。