NeMo-DCR:面向万亿参数规模智能体强化学习的位精确差分压缩重拟合方法
论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。
推荐理由:提出 NeMo-DCR 方案,通过位精确差分压缩将万亿参数模型跨集群重拟合时间从 87.5 分钟降至 150 秒。
论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。
推荐理由:提出 NeMo-DCR 方案,通过位精确差分压缩将万亿参数模型跨集群重拟合时间从 87.5 分钟降至 150 秒。
该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。
推荐理由:提出无需训练的 CtrlCache 框架,通过控制感知调度与频率混合先验指导,在保持交互响应度的同时显著降低视频世界模型的推理成本。
该论文提出 Mara Chain,一种将优化过程中被丢弃的候选方案转化为后续迭代基石的新方法。现有 propose-evaluate-select 流程常因直接丢弃不合格候选而导致重复探索相同失效模式;Mara Chain 则保留并利用先前尝试积累的证据对拒绝项进行迭代精炼,同时限制链长并应用 Pareto-filtered Top-N 选择以控制候选池规模。
推荐理由:该工作提出 Mara Chain,将优化中被丢弃的候选方案转化为后续迭代的基石,在 AppWorld、TerminalBench 2.1 和 MuSiQue 等基准上显著提升了任务性能并减少了采样次数。
文远知行正式发布物理 AI 认知基础模型 WeRide WITT(World Intelligence Toward Truth),该模型基于原子物理事实(APFs)框架,通过提取、推理、验证和整理可信事实来构建对物理世界的理解。
推荐理由:文远知行发布基于原子物理事实的认知基础模型 WITT,通过提取、推理与验证可信事实来降低幻觉并提升长尾场景挖掘效率。
Berkeley BAIR 团队发布 GRASP(Gradient RelAxed Stochastic Planner),一种针对学习到的动力学世界模型的梯度基规划器,旨在使长视界规划变得可行。
推荐理由:Berkeley BAIR 发布 GRASP 梯度规划器,通过升维状态与重塑梯度解决长视界规划脆弱性。
Berkeley BAIR 团队发布了 Transitive RL (TRL) 算法,旨在解决传统时序差分(TD)学习难以扩展至长周期任务的瓶颈。该算法采用“分治”范式,将轨迹递归分割以更新价值函数,从而将对数级减少贝尔曼递归次数并避免误差累积。
推荐理由:作者提出 Transitive RL 算法,利用分治策略解决离线强化学习在长序列任务中的误差累积难题。