NVIDIA Technical Blog· Elizabeth Goodman·· 2026-09-17AI 评分23
TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic Benchmark,推理速度提升 6.4 倍
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
AI 导读
NVIDIA 推出 TensorRT Edge-LLM,使其在 Jetson AGX Thor 边缘设备上完成 MLPerf Edge Agentic Benchmark 测试,推理速度较基线快 6.4 倍。该成果验证了 AI Agent 从云端向车辆、机器人等边缘设备迁移的可行性,满足智能体多步工具调用与长对话的快速生成需求。
来源:NVIDIA Technical Blog · developer.nvidia.com