跳到正文
Hugging Face Daily Papers·· 2026-10-06精选AI 评分78

NeMo-DCR:面向万亿参数规模智能体强化学习的位精确差分压缩重拟合方法

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

AI 导读

论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。

推荐理由

提出 NeMo-DCR 方案,通过位精确差分压缩将万亿参数模型跨集群重拟合时间从 87.5 分钟降至 150 秒。

来源:Hugging Face Daily Papers · arxiv.org