Hugging Face Daily Papers·· 2026-10-06精选AI 评分78
NeMo-DCR:面向万亿参数规模智能体强化学习的位精确差分压缩重拟合方法
NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale
AI 导读
论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。
推荐理由
提出 NeMo-DCR 方案,通过位精确差分压缩将万亿参数模型跨集群重拟合时间从 87.5 分钟降至 150 秒。
来源:Hugging Face Daily Papers · arxiv.org