EgoP$^{2}$C:一种用于第一人称视频空间推理的内化计划 - 感知 - 合成框架
该论文提出 EgoP$^{2}$C 框架,旨在解决现有视觉语言模型在处理第一人称视频复杂空间推理任务时证据获取与多步组合困难的问题。研究通过训练专用的规划与感知教师模型,并在混合专家学生模型中进行监督微调,实现了无需外部工具的内化自适应工作流。
推荐理由:该工作提出将规划、感知与合成流程内化于单一 VLM 的框架,在三个基准测试中显著优于基线模型并降低推理算力。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
该论文提出 EgoP$^{2}$C 框架,旨在解决现有视觉语言模型在处理第一人称视频复杂空间推理任务时证据获取与多步组合困难的问题。研究通过训练专用的规划与感知教师模型,并在混合专家学生模型中进行监督微调,实现了无需外部工具的内化自适应工作流。
推荐理由:该工作提出将规划、感知与合成流程内化于单一 VLM 的框架,在三个基准测试中显著优于基线模型并降低推理算力。
针对视觉语言模型在场景暗示但实际不存在的物体问题上易产生幻觉的问题,论文提出 Shift-Reliance Alignment(SRA)指标。该方法通过编辑图像中的线索来测量模型对各线索的依赖程度,结合源域误差与目标域线索误导比例,预测并选择最佳模型。实验显示 SRA 能有效降低在 Objects365 和 OpenImages 上的错误率,且优于仅基于置信度或源域误差的选择方法。
推荐理由:提出基于模型对线索依赖度的新评估指标 SRA,能更准确预测目标域表现并降低幻觉误差。
针对自然语言描述生成高质量视频时意图匹配耗时的问题,本文提出 ProactGen 框架。该框架利用强化学习训练视觉语言模型作为提问策略,基于生成的视频草稿主动向用户询问关键信息以明确意图。实验表明,ProactGen 在目标对齐方面比直接生成提升至少 1.8 倍,且单轮澄清的时间效率优于最强基线经过四轮迭代的效果。
推荐理由:提出 ProactGen 框架,利用强化学习训练视觉语言模型主动提问以澄清用户意图,显著降低生成迭代成本并提升与目标的一致性。
FOR-species20K 是最大规模的公开 LiDAR 树种分类基准,包含 33 个物种及 25 个独立采集的地面、移动和机载激光扫描数据集。作者提出多分辨率多视角 ConvNeXtV2 模型,在官方隐藏测试集上将准确率从 79.5% 提升至 85.0%,但在跨源物种单元留一验证中,未加权平均准确率从 82% 骤降至 36%,树权重准确率从 95% 降至 60%。
推荐理由:该研究揭示了跨源 LiDAR 树种识别中 leaderboard 分数与真实泛化能力的差距,为构建更稳健的评估指标提供了实证依据。
论文介绍 SABER 基准以评估视觉语言模型在四种模态配对下的属性 - 对象绑定能力,发现现有 CLIP 和 MLLM 嵌入器存在显著绑定失败。作者提出仅用合成文本进行属性绑定监督的微调方法,无需图像监督即可将性能迁移至跨模态和图像检索任务,并在 SABER、否定及实例检索基准上取得 SOTA 结果。
推荐理由:提出 SABER 基准揭示属性 - 对象绑定缺陷,仅用合成文本监督微调 MLLM 嵌入器即可在跨模态检索中实现 SOTA。
该论文提出了一种利用显微光学读取自然地面纹理以实现高精度全局定位的方法,将定位精度提升至数十微米量级。研究通过校准的移动龙门架系统验证了该方法在不同表面纹理上的表现,在 1007 个测试查询中实现了 28-73 微米的平移均方根误差(RMSE),且独立光度配准与特征定位估计的误差约为 9 微米。
推荐理由:原文展示了利用显微光学实现微米级移动机器人定位的方法,并验证了其在热膨胀等场景下的鲁棒性。
针对长程任务中运行前沿模型昂贵而小模型易失败的矛盾,本文提出 LEASH 这一无需训练的框架。该框架利用弱模型的隐状态不确定性信号,仅在必要时将控制权移交强模型,并在移交后通过影子观测器对黑盒强模型进行持续监督。
推荐理由:提出无需训练的 LEASH 框架,利用弱模型隐状态不确定性实现按需调用强模型并持续监督,在 OSWorld 基准上显著降低推理成本。
LEAP 是一种处理小时级音视频问答的新框架,通过轻量级定位将录音划分为固定时长块并筛选高分候选窗口,再在单轮受控上下文中进行回答生成,从而突破上下文长度限制。该方法支持流式推理且无需针对流式训练,在多个基准测试中分别比 Qwen3-Omni-30B-A3B 基线提升 4.5%至16.8%,并成功迁移至 MiniCPM-o 4.5 模型使其超越已发表结果。
推荐理由:LEAP 框架通过块级证据检索解决长音频视频问答的上下文限制,在多个基准上显著优于 Qwen3-Omni-30B-A3B 基线。
该论文提出一种新范式,将地球观测(EO)模型的构建与优化工作交给通用编码智能体完成。通过定义‘夹具’(harness)和‘验证器’(verifier),任何可验证的 EO 任务都能被转化为智能体的训练目标。
推荐理由:提出将地球观测任务转化为智能体可执行的闭环框架,在六个基准上超越现有方法,且仅需 11% 的训练标签即可实现土地覆盖映射。
论文提出了 DuplexBridge 框架,旨在解决复杂图像编辑中任务解释失败难以归因的问题。该方法利用统一模型自身的理解能力来增强其生成提示,无需外部理解模块。
推荐理由:提出 DuplexBridge 框架,利用模型自身理解能力增强生成提示,在 CE-Bench 等基准上显著提升了图像编辑的完全合规率。
该论文提出了 RSIgen 框架,旨在解决统一多模态骨干网络中生成器更新导致智能体动作监督过时的矛盾。通过动态责任路由(DRR)匹配证据、输入与受支持动作来选择学习接收者并构建兼容训练目标;在生成器学习后重新评估测试动作的相对效用以刷新智能体监督,并由保留角色构建下一轮课程。
推荐理由:提出 RSIgen 框架,通过动态责任路由解决生成器更新导致的监督过时问题,在多个模型上提升任务成功率与视觉质量。
针对 RGB 相机更新率低导致动态环境感知受限的问题,论文提出 LiFR v2 统一框架,融合事件引导补全模块与历史检索模块,实现从单帧 RGB 和事件的因果实时稠密预测。
推荐理由:提出 LiFR v2 框架,结合事件引导补全与历史检索模块,在动态场景下实现超越帧率的高频稠密感知。
针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。
推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。
论文提出 SADGE 指标,用于在不进行下游模型训练的情况下预测合成图像数据集在常见计算机视觉任务中的表现。研究指出仅凭外观或几何相似度无法可靠预测性能,二者需通过非线性交互共同作用。
推荐理由:提出 SADGE 指标,证明外观与几何相似度的非线性交互能预测合成数据在检测、分割等任务的下游性能。
针对多模态大模型处理长视频时解码成本高、Token 增长快及稀疏采样下运动感知弱的问题,论文提出 HIMMEL 框架。该框架将少量语义锚点帧路由至昂贵的视觉骨干网络以定位物体身份与场景布局,而利用轻量级压缩域三流适配器对更密集的帧间间隔编码,从运动向量图、残差图和 I 帧上下文分支中提取运动证据并转化为对齐的运动 Token。
推荐理由:提出分层交错多流运动编码框架,在大幅减少上下文 Token 的同时提升长视频理解性能。
针对现有一次过三维场景合成方法易产生碰撞等空间幻觉的问题,论文提出 SceneReVis 框架,利用多模态反馈执行迭代的诊断与行动循环以显式拦截并解决冲突。研究构建了包含因果构建轨迹的 SceneChain-12k 大规模数据集,并提出从监督微调过渡到智能体强化学习的两阶段训练方案。
推荐理由:提出基于多轮强化学习的自反思框架,通过因果构建轨迹数据集解决三维场景合成中的空间冲突问题。
针对多模态大语言模型(MLLM)在少样本细粒度视觉分类任务中易过拟合的问题,论文提出 UniFGVC 框架,将任务重构为基于预定义类别模板的多模态检索问题。其核心是属性感知模块 Category-Discriminative Visual Captioner,利用思维链推理生成富含判别性视觉属性的结构化描述,结合任意预训练编码器进行特征提取与相似度计算。
推荐理由:提出无需微调的通用少样本细粒度分类框架,通过属性感知多模态检索解决 MLLM 在稀疏数据上的过拟合问题。
针对传统卡尔曼滤波在远距离和遮挡场景下因运动模型失配导致的状态漂移问题,本文提出一种运动动力学卡尔曼滤波(MD-KF)。该方法通过时间建模捕捉物体运动变化并自适应调整运动分量贡献,以修正预测漂移,同时保留单模型结构以维持计算效率。
推荐理由:提出单模型结构的运动动力学卡尔曼滤波,在保持效率的同时提升远距离与遮挡场景下的跟踪精度。
针对全页文档解析中需保留异构元素内容与结构但易出现局部误差的问题,本文提出 Page-to-Token Policy Optimization (P2TPO) 框架。该方法通过参考元素对齐、统一锚点定价和跨度信用重分布等机制,在固定权重加性页面效用下保留局部质量差异。实验显示,P2TPO 在六个文档解析基准测试的种子平均分数上优于所有评估的策略优化基线,并在不同模型规模和初始化条件下均表现增益。
推荐理由:提出 P2TPO 框架,通过结构对齐的信用分配解决全页文档解析中的局部误差问题,在六个基准测试上优于所有策略优化基线。
论文指出标准掩码策略会导致 3D 点云 SE(3)等变网络发生拓扑坍缩,迫使模型在无参考系下幻觉方向。为此提出 SIEVE(Scalar Invariant Extraction Via Equivariance)框架,利用球面投影掩码在保留全局姿态的同时模糊局部语义,从而规避该障碍。
推荐理由:该文提出 SIEVE 框架解决 SE(3)等变网络在点云掩码自监督学习中的拓扑障碍,实验显示其优于坐标基线与手工描述符。