跳到正文
Hugging Face Daily Papers·· 13 天前精选AI 评分78

SIRIS:LLM 能否判断仿真误差对 AI 驱动系统研究的影响?

SIRIS: Can LLMs Tell When Simulation Errors Matter in AI-Driven Systems Research

AI 导读

论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。

推荐理由

该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。

来源:Hugging Face Daily Papers · arxiv.org