Arm推出全新CPU评估体系

Agent的应用场景正在变得越来越细分。 从Claude Code等AI编程工具，到能够处理文档、操作软件的办公助手，再到帮助用户规划行程、管理日程的个人助理，Agent开始承担越来越多具体任务。 应用场景的不断拓展，也对底层算力提出了新的要求。

在这一背景下，Arm近日推出一套面向Agent的CPU性能评估方法论，试图通过更贴近真实应用场景的测试，帮助企业判断不同CPU在Agent任务中的表现。 这不是孤例。AMD此前已提出针对Agent AI的CPU工作负载评测框架，将工具执行、数据检索和任务编排等环节纳入测试；英特尔也针对Xeon 6处理器开展了相关测试，重点关注Agent任务的吞吐量与并发执行效率。 多家芯片厂商相继探索新的评测方法，背后是Agent正在改变CPU的工作负载。 过去几年，大模型算力竞争主要围绕GPU展开，Token生成速度、吞吐量等指标成为衡量AI推理性能的重要依据。 随着Agent开始执行实际任务，除了调用大模型进行推理，还需要访问数据库、执行代码、调用工具等，这些环节都可能消耗大量CPU资源。 Arm云AI解决方案架构总监Ravi Malhotra以软件开发Agent为例指出，模型首先进行推理并生成代码，随后CPU还需要完成代码构建、编译和测试，这些操作可能耗费大量时间。 “在这类用例中非常重要的一点是，CPU能多快完成自己的那部分工作，从而让控制权尽快回到更昂贵的GPU或加速器，以便执行流水线中的下一步。”Ravi Malhotra向全天候科技等媒体表示，“如果CPU不够快，更昂贵的GPU就会处于闲置状态。” 更复杂的是，不同Agent的性能瓶颈并不相同。部分任务主要受GPU推理速度限制，部分任务则受CPU沙箱执行能力或数据检索效率制约。即便是同一类Agent的性能瓶颈也可能随着模型、部署环境和具体任务的变化而改变。 以软件开发为例，代码编译和测试往往需要持续占用CPU资源，因此更看重单个Agent的执行性能。相比之下，企业客户支持、个人助理等场景中的单次操作通常较短，但可能需要同时处理大量请求，对CPU的并发能力提出了更高要求。 这些差异也让CPU性能评估开始关注完整Agent任务的执行效率，以及不同工作负载下的性能表现。 此次Arm提出将组件级测试与端到端Agent基准测试结合起来。 其中，组件级测试覆盖Web服务器、数据库、模型服务及沙箱执行等环节，端到端测试则引入SWE-bench、Terminal-Bench等Agent基准，考察完整工作流程中的性能表现。 在单核性能、多核吞吐量等传统指标之外，Arm还关注Agent并发数量、任务执行效率以及每机架性能。 Ravi Malhotra强调，性能评估需要在吞吐量与SLA（服务等级协议）要求之间取得平衡，不能单纯追求同时运行更多Agent。 由于不同场景的需求存在差异，Arm也不建议对各类Agent用例采用统一的权重分配方式，而是主张企业根据自身应用选择相应的评测指标。 随着Agent逐渐进入企业的实际业务流程，这些性能指标也成为企业选择和升级CPU基础设施的重要参考。 Ravi Malhotra认为，软件开发、客户支持、供应链管理及个人助理等场景，将成为推动企业升级CPU基础设施的重要动力。 “对企业而言，客户支持、供应链管理，以及个人助理等场景，更关注每机架性能，而Arm AGI CPU的可扩展性和能效优势在这些场景中尤为突出。”Ravi Malhotra表示。 Ravi Malhotra进一步指出，无论是为Agent应用升级现有基础设施，还是设计开发全新的基础设施，这些场景都会形成明确的升级需求，并有望成为推动Arm AGI CPU增长和普及的主要动力。 对企业来说，CPU性能提升带来的价值，最终还需要体现在实际运营效率和成本上。 不同Agent的工作负载差异较大，基准测试中的性能优势能否真正转化为任务执行效率的提升和部署成本的下降，仍有待更多实际应用验证。