PBSR:通过零样本新视角合成实现伪突发超分辨率
针对单张照片无法获取多帧信息的限制,本文提出 PBSR 方法,利用零样本新视角合成技术生成具有真实视差的伪多帧序列,并结合几何感知对齐模块与抗伪影微调的超分骨干网络进行重建。实验表明该方法在 BurstSR 数据集上相比单帧基线显著提升了 PSNR、SSIM 和 LPIPS 指标。论文已接受发表于 New Generation Computing。
推荐理由:提出利用零样本新视角合成生成伪多帧,使单图超分任务获得类多帧重建效果。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
针对单张照片无法获取多帧信息的限制,本文提出 PBSR 方法,利用零样本新视角合成技术生成具有真实视差的伪多帧序列,并结合几何感知对齐模块与抗伪影微调的超分骨干网络进行重建。实验表明该方法在 BurstSR 数据集上相比单帧基线显著提升了 PSNR、SSIM 和 LPIPS 指标。论文已接受发表于 New Generation Computing。
推荐理由:提出利用零样本新视角合成生成伪多帧,使单图超分任务获得类多帧重建效果。
论文介绍 CuPIQP,这是一个基于近端内点法的 GPU 批量化与可微分二次规划(QP)求解器,支持稠密、稀疏及多阶段问题。基准测试显示其单批次处理多达 16384 个 QP,求解速度较 Moreau 快 18.8 倍,比八核 PIQP 快 4.26 倍;在端到端学习任务中,训练加速分别达 4.6 倍和 7.8 倍。该工具旨在降低计算成本,将基于模型的优化高效集成到大规模机器人学习与控制流程中。
推荐理由:该工作提出基于 GPU 的批量化可微分二次规划求解器,为大规模机器人学习与控制提供高效优化基础设施。
论文介绍了一种名为 ROOF 的强化学习方法,旨在解决人形机器人在头顶存在障碍物时的跌倒恢复难题。该方法利用接触支撑几何逃逸引导,仅凭本体感知即可学习何时清除障碍、建立支撑以及完成起身动作。
推荐理由:提出接触支撑几何逃逸引导方法,在仿真与宇树 G1 真机实验中显著提升了头顶障碍物下的跌倒恢复成功率。
本文提出 Any Forcing 框架,旨在解决现有自回归视频生成方法受限于固定采样步数、单步生成质量下降及长序列内容漂移的问题。该方法引入统一对抗判别器以对齐真实分布并增强首帧质量,同时采用无需训练的自适应长期记忆选择机制,基于全局语义与局部价值贡献筛选历史状态并重映射时间位置,从而在保持时序关系的同时实现稳定的单步长视频生成。
推荐理由:提出 Any Forcing 框架,解决自回归视频生成中固定步数与单步生成的矛盾,实现灵活采样并保持高质量。
针对大规模自中心人类视频存在视觉外观、运动学结构和动作空间等本体差距的问题,论文提出 Nexus-VLA 混合策略学习框架。该框架引入分层跨本体语义对齐范式,从任务意图到细粒度交互逐步建立共享操作语义,并设计共享操作隐表示以直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置及真实机器人实验中,该方法实现了 80.5% 的任务成功率,展现了高效的人类数据利用率和跨场景泛化优势。
推荐理由:提出 Nexus-VLA 框架,通过端到端联合训练实现跨本体知识迁移,在 RoboCasa-GR1 上达到 80.5% 成功率。
论文提出 MoETok,这是一种针对 1D 视觉 Tokenizer 的稀疏专家路由方法。研究揭示查询在语义监督下自发分化为 Content(内容)和 Detail(细节)两类角色,路由器据此学习适应不同 token 表示的特化处理路径。
推荐理由:该工作揭示了查询在语义监督下自发分化为内容与细节两类角色,并提出稀疏专家路由机制以提升重建与生成性能。
论文提出一种通过稀疏垂直线性致动器悬吊连续织物以重定位物体的机器人操作表面(RMS)。作者建立了该悬吊表面的可分离悬链线模型,能快速计算给定致动器高度下的曲面形状及目标局部斜率所需的致动器高度。
推荐理由:提出悬吊织物机器人操作表面的可分离模型与多模块扩展方案,在九致动器原型上实现厘米级物体跨模块传输。
针对仿真基准中因物理引擎几何算法缺陷导致的虚假失败(如物体被弹出),作者开发了 SimuGuard 审计插件,在不改变评估流程的前提下自动标记并修复此类伪影。在 RoboTwin 平台上测试显示,修复后容器任务成功率从 89% 升至 98%,建议 PhysX 5.3.1 及更早版本的基准重新运行或报告修正后的成功率范围。
推荐理由:作者发现仿真基准因几何算法缺陷导致虚假失败,提出 SimuGuard 插件修复该问题并验证了成功率提升。
针对现有基于视觉语言模型的机器人操作输出过于粗糙无法完成精密插入的问题,该方法提出让 VLM 构建仅包含几何原点和配合面的任务草图模型,由标准规划器执行并复用记忆。在仿真测试中,该方法在 69 次插入尝试中成功装配了 88% 的零件,而同等基线方法成功率为零;通过重用存储的草图运行,新任务的单次生成时间从约 90 秒降至 3.4 秒,且仅在遇到不熟悉的零件时才调用 VLM。
推荐理由:该方法利用 VLM 构建任务草图记忆,在仿真中实现零样本高精度插入,显著降低对大模型的调用频率并提升成功率。
该研究调查了最先进的开源权重多模态大模型(MLLMs)在蚂蚁合成图像中比较身体部位大小的能力。结果显示,尽管视觉对比本身很简单,但模型对无法识别的身体部位会失败,因为无法识别的结构被关联到了可识别的语义概念上,导致定位和比较受损。研究分析了上下文学习策略并发现细粒度视觉结构缺乏语义支持时保存较差,表明当前 MLLMs 存在由语义识别限制简单视觉比较的局限。代码和数据已公开。
推荐理由:研究发现语义识别能力会阻碍简单的视觉比较任务,揭示了当前多模态大模型在生物图像分析中的底层局限。
针对现有 BEV 地图预测模型缺乏对交通参与者理解、在高遮挡下表现不佳的问题,本文提出 ObjectGuidedMap 多任务架构。该模型在 Mask2Map 基础上增加物体检测分支,利用可变形注意力与交叉注意力机制实现 BEV 特征与实例查询间的跨任务信息融合,使地图预测能利用物体上下文并抵抗交通参与者造成的遮挡。
推荐理由:提出多任务架构联合预测 BEV 地图与 3D 物体,通过跨任务特征融合提升高遮挡场景下的地图预测精度。
论文提出 PGGT(Primitive-Grounded Geometry Transformer),解决地图原型与视觉观测间的模态差距,实现单图输入下的前馈 6-DoF 相机定位。该方法在密集表面图和极简布局模型上均达到最先进性能,代码与模型已开源。材料为 NeurIPS 2026 接收的预印本,未报告真实机器人部署结果或具体实验数据。
推荐理由:提出基于平面原型的几何 Transformer,实现单图前馈式 6-DoF 定位,在密集表面与极简布局模型上均达到 SOTA。
Zixiong Wang 和 Haiping Ma 在 arXiv 上发布论文 A Patch is More Than a Token,提出 PMTT 框架以扩展视觉 Transformer 的单 Token 接口。
推荐理由:该文提出 PMTT 框架,证明预训练视觉骨干网中补丁信息远超标准单 Token 接口暴露的内容。
该研究提出了 CoFailMed 框架,对五个二维医学图像分割任务中的 11 个预训练编码器进行了失效相关性审计。研究发现,即使模型平均精度和数量不同,它们仍可能在相同案例上共同失效;共享检查点的模型对 Dice 相关性最高,而跨家族编码器的依赖关系甚至可能随微调增强。研究提供了对齐的案例轨迹、分析脚本及代码以复现审计结果,并建议评估报告应包含绝对依赖度和阈值特定的有效池大小。
推荐理由:本文通过审计预训练编码器池,揭示了不同模型在医疗分割任务中存在共享失效模式的现象。
针对病理图像分割中模型过度依赖背景虚假相关的问题,本文提出了一种基于受控干预的因果依赖评分(CRS)指标。该方法通过设计作为隐式反事实干预的数据增强策略,量化模型预测对前景组织扰动与背景/域变化的相对敏感度。研究证明该框架能揭示标准 Dice 或 IoU 指标无法捕捉的行为差异,旨在为开发临床鲁棒的医学图像分割系统提供审计工具。
推荐理由:提出因果依赖评分指标,通过受控干预评估病理图像分割模型对前景与背景的敏感度差异。
该论文利用串联机器人的高阶运动学导数实现高效且保持几何特性的实时逆运动学计算。研究提出了 QuIK4 和 QuIK5 两种四阶与五阶收敛求解器,并设计了基于雅可比行列式外推的步长限制器以预测奇异点,同时引入埃尔米特插值验证器确保解的方位一致性。
推荐理由:原文提出高阶运动学导数求解器与几何保形验证机制,显著降低逆解失败率并消除方位跳变。
针对真实世界部署中机器人需持续适应新任务的挑战,本文提出 ResMerge 框架,在冻结的预训练策略之上学习可合并的残差策略。该方法利用残差强化学习(RL)在无额外专家演示的情况下获取任务特定修正,并通过参数空间合并整合兼容残差以减少存储参数。
推荐理由:提出 ResMerge 框架,通过残差强化学习与参数空间合并实现预训练策略的持续适应,无需额外专家演示且减少存储参数。
针对传统零阶方法样本需求大、现有首阶方法在接触动力学中梯度爆炸的问题,论文提出∇Mimic框架与NablaEngine引擎。通过每步反向传播的梯度裁剪和多步回归技术,结合专为宇树G1优化的可微GPU仿真内核,该方法在单卡上40分钟即可达到世界模型方法的跟踪分数,显著优于基线且开源了相关基础设施。
推荐理由:提出基于可微仿真的首阶策略学习方法,配合专用加速引擎将训练效率提升数倍并开源。
论文指出强化学习可验证奖励(RLVR)在文本丰富推理任务中存在正确但视觉误读(CVMR)现象,导致模型虽得正确答案却未真正理解图像。作者提出 GRIT 框架,利用 token 级注意力模式差异对视觉误读进行梯度掩码,提升推理准确性与 grounding 保真度。
推荐理由:提出 GRIT 框架将视觉 grounding 引入 RLVR,缓解中间步骤误读问题,并配套发布 GRIT-Bench 评测基准。
针对闭环机器人操作中低推理延迟的关键需求,本文提出了 RTPolicy,这是一种结合视图感知特征融合与视觉压缩的多视角视觉运动策略。该策略通过流匹配动作生成器降低计算成本,在 RoboTwin~2.0 单任务清洁评估的 50 个任务中平均成功率为 52.26%,优于最强基线$ ext{\pi}_0$(46.4%)。
推荐理由:该文提出 RTPolicy,在边缘设备上实现实时多视角视觉运动策略,异步流式推理下双臂平台任务成功率达 72%。