miniTE:诊断并弥合原生 NVFP4 强化学习的执行差距
该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。
推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。
推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。
该论文研究了时间步加权对基于 ELBO 的流匹配强化学习性能的影响,发现有效的加权方案依赖于奖励景观和学习阶段。通过受控图像生成与机器人实验,揭示了跨噪声水平的奖励驱动更新模式及训练过程中的梯度协调动态。研究提出并验证了简单的静态加权、预算化配置选择及动态调度等策略,证明其能超越常规目标选择效果,为流匹配强化学习提供了重要的设计依据与新视角。
推荐理由:本文揭示了时间步加权在基于 ELBO 的流匹配强化学习中的关键作用,提出其效果取决于奖励景观与学习阶段,并验证了动态调度策略优于常规配置。
论文提出了 Look-Before-Move 框架,将相机规划解耦为观察规范与运动执行,通过语义观察契约、蒙特卡洛视点搜索和语义轨迹接地技术,在动态三维故事世界中实现叙事驱动的视觉注意力。
推荐理由:该工作提出叙事驱动的视觉注意力框架,在动态三维故事世界中实现先观察后移动的相机规划。
Flash-WAM 是一种模态感知的步骤蒸馏框架,旨在解决世界动作模型(WAMs)在联合视频与机器人动作生成中因噪声分布不对称导致的传统蒸馏失效问题。该方法为动作流采用线性梯度缩放参数化以匹配低噪声 regime,同时为视频流保留方差以保持高噪声 regime 的稳定性。
推荐理由:针对多模态蒸馏在联合视频 - 动作生成中的失效问题,提出模态感知的单步蒸馏框架 Flash-WAM。
UniWAM 是一种统一架构,整合物理推理器、世界生成器和动作预测器,旨在联合学习物理世界的语义理解、视觉生成和动作预测。研究团队开发了严格的数据清洗与标注流程以处理人类第一视角数据和机器人数据,并在预训练中利用视觉问答等互补监督信号适配具身任务。
推荐理由:该工作提出统一架构融合物理推理与动作预测,并验证了人机混合数据预训练的缩放定律。
论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。
推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。
Magic-W0 是一种世界 - 动作基础模型,旨在弥补现有方法缺乏与控制紧密耦合的结构化世界表征的不足。该模型将交互定义为包含当前状态、过渡和未来状态的 Structured World Transition,其中当前状态结合视觉语言上下文与三维几何,过渡由捕捉动作诱导变化的三维运动表示,未来状态则由描述任务相关结果的未来语义表示。
推荐理由:该工作提出将结构化物理状态演化与连续动作联合建模的架构,在仿真基准上取得领先分数并验证了下游泛化能力。
论文提出 RoboActualizer 方法,旨在解决如何将预训练视频世界模型的多种潜在未来转化为特定任务条件下的确切执行策略。该方法将核心问题形式化为“实际化”,即在冻结的世界模型编码器之上,通过一个仅含约 60M 参数的轻量级实际化器模型(由两个 DiT 专家组成)来筛选并读出实现任务的行动序列。
推荐理由:提出在冻结预训练世界模型上仅用轻量级实际化器将潜在未来转化为机器人动作,大幅降低参数与算力需求。
该论文提出通用操作表示(UMR),将操作分解为与本体无关的世界流和本体轨迹两个几何关联组件,并实例化为 World--Ego Point VLA 模型。研究通过数据高效策略提升效率,在仿真基准上平均成功率达 97.5%,真实世界实验中利用约 10 分钟的人类演示即可实现跨机器人零样本迁移,平均成功率为 91.7%。
推荐理由:提出统一动作表示 UMR,实现从人类演示到异构机器人的零样本技能迁移。
论文提出一种利用大语言模型(LLM)构建包含物理关系、兼容性约束和目标的显式工程模型框架,允许在正式多目标优化前审查并修订建模选择。作者在四旋翼无人机和循迹机器人的组件选型问题上进行了评估,结果显示 30 次直接 LLM 设计尝试均无法通过最终模型验证为可行,且建模假设的变更显著改变了预测的可行与帕累托最优设计方案集合。
推荐理由:该框架利用大语言模型构建显式工程模型,使设计假设可被审查与修订,再结合形式化优化确保可行性与帕累托最优。
DEXTERA 是一个自动化的真实到仿真再到真实框架,能将单张 RGB 图像转化为跨多种策略架构的可部署灵巧操作策略。该框架包含场景因子化、度量对齐与形态平衡校准、可扩展任务构建及共享多模态接口四个阶段。实验显示其在视觉保真度与几何重建上优于生成式基线,仿真训练的策略可在真实机器人上零样本部署,且联合训练将平均物理策略成功率从 29.2% 提升至 61.9%。
推荐理由:DEXTERA 框架实现从单图到可部署策略的自动化闭环,仿真训练策略在真实机器人上零样本部署有效,且联合训练将成功率提升至 61.9%。
EgoSteer 是一个面向可操控灵巧操作的开源全栈系统,整合了 EgoSmith 数据管道、统一机器人堆栈及世界模型增强的 VLA。系统在 9,606 小时第一人称视频上预训练,并通过遥操作与 DAgger 微调,在 45 个多样化任务中稳健执行自由指令,并在两个具身平台上对长周期任务达到 79% 平均进度。代码、数据集、模型检查点及评测画廊已公开。
推荐理由:开源了基于第一人称视频预训练的灵巧手 VLA 系统,提供数据管道与仿真增强策略以支持遥操作微调。
论文指出冻结的视觉语言动作(VLA)模型泛化能力脆弱且缺乏长期后果意识。作者提出 SVA 框架,利用仿真中的蒙特卡洛树搜索采样探索输出分布,并将经验回报蒸馏到轻量级 Q 值模型中。
推荐理由:提出 SVA 框架,将蒙特卡洛树搜索蒸馏为轻量级动作评估器,使冻结 VLA 在保持泛化能力的同时提升任务成功率。
针对现有视觉语言动作(VLA)模型无法处理任务执行期间物体移动导致的延迟问题,本文提出 AHEAD 框架。该方法通过冻结 VLA 并引入基于光流的小规模运动感知潜在世界模型进行预测,利用语言与运动显著性掩码聚焦关键区域,并在不确定性达到阈值时自适应停止预测。
推荐理由:提出 AHEAD 框架,通过冻结 VLA 并引入运动感知潜在世界模型解决动态操作延迟问题,在仿真与真实机械臂上显著优于基线。
论文提出 FLASH Policy,利用连续勒让德多项式替代离散动作块生成,并通过历史系数初始化流匹配过程以加速推理。该方法无需数值近似即可直接提供速度前馈信号。实验显示其在五个仿真和两个真实操作任务中成功率均不低于 92%,单集推理时间为 31.40ms,训练收敛速度快于 ACT 且控制器跟踪误差显著降低。材料为 NeurIPS 2026 接收的预印本,代码与论文链接已提供。
推荐理由:FLASH 通过稀疏采样与连续多项式轨迹表示,将推理耗时降至 31.40ms,在五个仿真和两个真实任务中成功率均超 92%。
针对接触丰富任务中因目标、接触条件或动力学变化导致策略失效的问题,本文提出一种结合深度确定性策略梯度与有界极值搜索的混合控制器。RL 策略负责快速操作,有界 ES 确保在偏离训练分布时系统的鲁棒性。研究证明了机械臂在有限时间内收敛到物体及随后以有限时间收敛至有界速度移动目标的理论性质,并给出了收敛时间的解析公式与增益调节方法。
推荐理由:提出结合强化学习与有界极值搜索的混合控制器,在目标变化或摩擦分布偏移下实现有限时间收敛。
论文提出了 DAHLIA 框架,将长时程机器人操作视为集体验证任务规划问题。该方法利用渐进式组织的上下文示例与思维链推理引导大语言模型合成可执行代码计划;同时基于视觉语言模型的报告器仅在每轮执行后评估结果并提供结构化反馈以重规划,从而在部分可观测性下提升鲁棒性。
推荐理由:该工作提出 DAHLIA 框架,利用渐进式上下文代码生成与集体验证机制解决长序列任务规划问题。
论文介绍 H-JEPA,一种用于长程规划的端到端分层世界模型方法。该架构包含多个动作条件化的 JEPA 层级,每层在独立潜空间预测不同时间尺度的未来:顶层优化目标进度,下层将高层预测作为子目标。
推荐理由:提出分层 JEPA 架构,在仿真与真实机器人视频中通过时间尺度分解提升长程规划成功率并降低计算开销。
EpicWorldModel 是一个用于训练具有内在不确定性的潜在世界模型的框架。该研究针对传统确定性 JEPA 在部分可观测场景(如遮挡)下失效的问题,提出联合训练预测器与潜在表示空间,利用流匹配目标直接预测多个潜在未来状态。
推荐理由:该工作提出基于流匹配的目标的随机 JEPA,利用预测方差引导 CEM 规划以解决部分可观测环境下的探索问题。
论文提出通用测试时训练(Universal Test-Time Training, uTTT),主张记忆所有权不应绑定于网络深度,所有层读写同一共享记忆并在时间与深度两个维度上递归。
推荐理由:提出 uTTT 架构,让所有层读写共享记忆以突破深度限制,在语言建模与新颖视图合成任务上均优于现有私有记忆设计。