LPM:面向复杂降质的工业级生成式视频修复框架
论文提出了 Large Processing Model (LPM),这是一个基于扩散模型的生成式框架,旨在解决用户生成内容中复杂的真实世界退化问题。该系统通过大规模数据工程、基础模型训练和高效推理的统一架构,实现了任意长视频的逼真且时间一致的修复。
推荐理由:该工作提出首个工业级生成式视频修复模型,在快手生产环境处理约45%观看时长并降低20%码率。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文提出了 Large Processing Model (LPM),这是一个基于扩散模型的生成式框架,旨在解决用户生成内容中复杂的真实世界退化问题。该系统通过大规模数据工程、基础模型训练和高效推理的统一架构,实现了任意长视频的逼真且时间一致的修复。
推荐理由:该工作提出首个工业级生成式视频修复模型,在快手生产环境处理约45%观看时长并降低20%码率。
EGOSTREAM 是一个用于评估第一人称视觉中连续情节记忆的流式基准测试工具。该基准包含 2,250 个精心策划的问题,覆盖细节、空间、时间、事件、社会、因果及前瞻性记忆七个认知维度,并引入答案有效时间窗(AVW)机制以区分模型遗忘与世界状态变化。
推荐理由:该基准通过引入答案有效时间窗和统一流式多模态框架,揭示了当前记忆管理策略在细粒度细节与长时回忆上的显著差异。
这篇论文提出了一种混合系统,将学习任务控制器和神经 3D 安全监控器集成到传统工业工作流中。研究团队在电机生产线上部署该系统,自动执行变形电缆插入和焊接任务。系统在少于 20 分钟的真实数据下连续运行了 5 小时 10 分钟,完成了 108 个电机的组装,无需物理围栏且产品质检通过率高达 99.4%。
推荐理由:该预印本展示了学习增强型自动化在真实电机产线的应用,实现了无围栏连续作业与高质量焊接。
论文提出 SFHand,这是一种首个通过流式第一人称 3D 手部动作预测进行表征学习的方法。该方法利用自回归架构从视频和语言指令中连续预测未来手部状态(包括手部类型、2D 边界框、3D 姿态及轨迹),并配备 ROI 增强记忆层以捕捉时间上下文。
推荐理由:提出通过流式第一人称手部动作预测进行表征学习,开源了配套数据集与模型,在仿真及真实世界操作中均取得领先性能。
该研究通过进化算法探索多旋翼无人机的最优身体形态,旨在解决传统设计在特定任务中非最优的问题。实验表明,演化出的无人机在机动性、推重比和尺寸三个目标上均优于标准四旋翼,其中机动性提升 489.2%,推重比提升 23%,体积减小 4.8%。性能提升归因于电机倾角和多旋翼数量。真实世界实验进一步证实,演化无人机在竞速任务中通过门数、飞行速度和圈速均优于标准无人机。
推荐理由:论文利用进化算法设计了优于标准构型的多旋翼无人机,在机动性、推重比和尺寸上取得显著改进,并在真实竞速任务中验证了性能迁移。
该研究针对现有公开冠状动脉窦口标注缺失或仅隐含的问题,为最大的公共冠状动脉分割数据集 ImageCAS(涵盖1000名患者)补充了精确的窦口标注与基于这些新地标生成的中心线图。
推荐理由:该工作为最大的冠状动脉分割数据集 ImageCAS 补充了窦口标注与根植中心线图,并验证了开放权重模型在定位任务上的性能。
针对现有方法在需要长期记忆与规划的任务上难以超越人类表现的问题,本文提出测试时基于模型的强化学习方法,利用测试时的梯度下降将单集观测编码进世界模型参数,使智能体能为每个单集学习独立的世界模型。研究先在二维简化版记忆迷宫环境中验证概念,随后在三维领域实现该基准的新最先进水平,并在 DeepMind Control 和 Atari 100k 等非记忆基准上保持强性能。
推荐理由:提出测试时基于模型的强化学习,通过梯度下降将单集观测编码进世界模型参数以增强长期记忆能力。
该论文提出了 S-JEPA 模型,将联合嵌入预测架构中的辅助变量 z 从固定确定性 token 扩展为随机潜变量。通过训练时学习后验分布和推理时使用上下文条件先验分布,该方法在无需解码器和重建的情况下实现了掩码图像预测。研究结果表明,引入随机性不仅保持了与确定性 I-JEPA 相当的表征质量,还显著提升了错误相关的预测不确定性和生成结果的多样性,并输出了空间结构化的不确定性图。
推荐理由:提出将辅助变量改为随机潜变量的 S-JEPA,在保持表征质量的同时提升预测不确定性估计与生成多样性。
Flex-RSI是一个针对视觉和机器人任务的智能体递归自我改进基准。该基准允许智能体在固定预算下利用反馈改进其解决方案及自身架构(包括提示词、工具和记忆)。评测涵盖感知、推理、机器人操作、3D重建等多个领域,发现当智能体构建自身解决方案时自我改进最有效,且编辑执行器本身对增益有显著贡献。
推荐理由:Flex-RSI基准评测了智能体在视觉与机器人任务中的递归自我改进能力,发现编辑执行器本身对提升效果至关重要。
论文指出视觉语言模型少样本适应时梯度估计存在严重校准偏差,但小幅度梯度的符号仍具信息量。为此提出 SignSparseSGD 和 DynSignSparseSGD 两种无需维护状态、仅利用梯度符号的优化器。
推荐理由:针对少样本适应中梯度估计噪声大的问题,提出无需维护状态且仅利用梯度符号的优化器,在多项基准上表现优异。
该论文在 arXiv 发布,介绍了对 NanoVDB 数据结构的两项基础改进:动态 GPU 原生拓扑更新和体素顺序访问范式。前者通过位并行算法实现了形态学膨胀、网格合并等动态操作;后者将活跃体素流式传输为线性序列,消除了树遍历需求。这些贡献打破了原有只读限制,使其适用于动态几何过程与仿真,并在三维重建、流体模拟等基准测试中进行了评估。
推荐理由:原文介绍了动态拓扑更新与体素顺序访问范式,使 NanoVDB 成为动态 GPU 仿真的高性能主表示。
论文提出通用 AI 模型可直接控制机械臂的代理操纵策略(AMPs),无需演示或特定训练即可在 RoboLab-120 和 CaP-Gym 基准上达到最先进结果。AMP1 参考框架支持单臂、双臂及移动操作,在真实世界实验中零样本成功率达 85.6%,显著优于现有 VLA 和 WAM 策略。研究还展示了通过持久化记忆提升经验学习能力的潜力,相关代码与视频已公开。
推荐理由:该文提出通用 AI 代理策略在零样本任务中优于专用 VLA/WAM,并开源参考框架 AMP1。
该论文提出 AR-Edit 方法,通过分析 DMD 蒸馏的自回归视频扩散模型的自注意力动态,发现查询键稳定而值特征编码演化内容的不对称性。该方法仅需单次前向传播即可捕获源身份并缓存值特征,在去噪过程中选择性注入,从而在不依赖反演的情况下实现高保真流式视频编辑。
推荐理由:提出无需训练与反演的视频编辑方法,利用自注意力机制特性实现流式实时编辑。
该研究开发了一种集成 36 通道电触觉阵列与电容触摸感应的可穿戴触觉输入输出设备,在 24 名参与者中揭示了显著的个体间感知变异性。基于此,作者提出了一个人机环校准框架,通过前向预测策略为每个用户生成个性化感知模型,并实现了针对特定用户的逆渲染。该平台已在机器人遥操作、视觉到触觉的感官替代、人际触觉通信及虚拟现实等场景中演示了个性化的触觉渲染能力。
推荐理由:原文提出了基于人体在环的校准框架,利用可穿戴设备生成个性化触觉感知模型以支持逆渲染。
作者提出了 PoseRieFlow 框架,用于条件生成全身 3D 人体姿态。该方法直接在 SMPL-H 关节旋转的乘积流形上构建生成模型,利用黎曼测地线将样本从各向同性高斯先验传输至数据分布。
推荐理由:该工作提出基于黎曼流匹配的紧凑框架,在保持手部细节的同时实现了全身姿态生成中最低的关节运动学误差。
论文提出SURE框架,旨在解决视觉语言动作(VLA)策略对大量演示数据的依赖问题。该方法通过引入轻量级转置卷积概率动作解码器来捕捉空间不确定性,并利用Soft-DTW对齐监督来处理预测与演示之间的局部时序差异。实验在LIBERO、RoboTwin 2.0及真实操作任务上验证,结果显示即使仅使用10%的演示数据或20%的训练步数,SURE的操作成功率也能匹配或超越基线VLA模型。
推荐理由:SURE通过显式建模动作空间的空间与时间不确定性,在仅用10%演示数据或20%训练步数下即可达到基线水平。
论文发现机器人通过搜索对抗从人类偏好学习的奖励模型时,真实目标回报会受损;在 HalfCheetah 和 Hopper 等任务中,更难的 MPPI 搜索使真实回报下降最高达 76%,且人类标签在某些场景下仍被利用。研究证明经校准的χ²正则化 MPPI 是测试中最安全的修复方案,能从预训练策略中恢复 86-94% 的真实回报。
推荐理由:研究揭示基于人类偏好的奖励模型在规划搜索中易被利用,并提出经校准的采样控制方法以恢复真实目标回报。
arXiv 预印本论文 LACART 提出了一种结合前瞻控制屏障函数、松弛控制李雅普诺夫函数和二次规划的方法,旨在解决自动驾驶赛车场景下的碰撞避免与参考跟踪问题。该方法在仿真中显示具有更低的计算耗时,并展示了基于摄像头的估计与无线执行机构在小型车辆上的演示。论文还分析了前瞻点清除与车身清除之间的关联条件及硬件限制。
推荐理由:原文介绍了结合前瞻控制与二次规划的碰撞避免方法,并在仿真中验证了计算效率提升。
该论文提出了 DKWBC 框架,通过结合基于模型的逆动力学前馈学习与关节 PD 反馈来提供跟踪力矩,同时利用残差策略学习额外的关节力矩修正以维持平衡。实验表明,该方法在仿真和真实硬件上均能实现单一策略对多种运动数据集的泛化,并在地面支撑、附加负载及物理交互场景下保持准确的运动跟踪与平衡稳定性。
推荐理由:提出 DKWBC 框架,将运动跟踪与平衡解耦,在仿真和真机上验证了单一策略在多任务下的泛化能力。
该研究将基于 YOLO26n 检测与提示分割的黄瓜长度测量流水线部署于 NVIDIA Jetson Orin Nano 和 Raspberry Pi 4,并与 RTX 3050 Ti 工作站对比。
推荐理由:原文给出了 RGB-D 黄瓜尺寸测量在 Jetson Orin Nano 与 Raspberry Pi 4 上的精度、吞吐与能耗实测数据,为低算力边缘部署提供选型依据。