跳到正文
MIT CSAIL News·· 10 小时前精选AI 评分78

MIT CSAIL 发布低内存激活秩子空间方法 LARS

To adapt an AI model to a small device, keep its training notes concise

AI 导读

MIT CSAIL 与哈佛大学联合提出 LARS 方法,旨在解决在智能手机等计算受限设备上直接微调大模型的显存瓶颈问题。该方法通过压缩模型训练过程中的中间激活存储(intermediate activation storage),将 GPU 上的内存占用降低超 23%,CPU 上降低约 47%。

推荐理由

MIT CSAIL 提出 LARS 方法,通过压缩中间激活存储将大模型内存占用降低超 23%,在低功耗设备上实现长上下文分析。

来源:MIT CSAIL News · csail.mit.edu