跳到正文
Hugging Face Daily Papers·· 7 天前AI 评分56

LLM 智能体工作负载的批处理延迟优化:基于推理与环境协同的方法

Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination

AI 导读

该研究针对大模型智能体任务交替进行推理与环境交互的特点,提出了协调优化方案以减少批处理总耗时(makespan)。方法包括利用工作负载资源模型指导 GPU 显存分配、轨迹感知调度以复用缓存、以及在环境容量受限时将样本准入与执行解耦并引入链推进动作调度。

来源:Hugging Face Daily Papers · arxiv.org