【ZOL中关村在线原创行业分析】从30%性能提升、350沙箱并发到16倍时延优化，三个数字背后，是一场关于算力基础设施的重构。
10月末，腾讯全球数字生态大会英特尔专场活动上，这些数字颇为耀眼，而它们指向的是同一件事——在智能体AI时代，CPU正在从配角变回主角。而英特尔至强6+处理器与腾讯云的深度合作，更是在这条日渐清晰的趋势线上点上了一个清晰的坐标。
为什么智能体越跑，CPU越忙
一年前谈AI算力，默认的主语多半是GPU。一个请求进来，模型做一次推理，然后token吐出来，任务随之结束。这些过程绝大部分时间花在生成阶段，而速度快慢则主要由GPU的算力来决定。而这类计算也天生适合GPU和专用的AI加速器来计算，因此CPU在AI时代的开局反倒显得不是那么重要。
但随着智能体AI时代的到来，这一切都发生了转变。
一个用户请求会展开N个智能体的循环（loops），进而派生成百上千台后端服务器的执行动作：从任务定义、上下文注入、工具调用、结果读取到反思复盘。除了模型推理本身，控制、编排、I/O、沙箱拉起、状态保存等等一系列执行，几乎全部落在CPU上。
英特尔市场营销集团副总裁、中国区总经理郭威在活动现场给出了一个重要的观察：中国大模型日均调用量两年内增长了5000倍，最近六个月又增长三倍，达到每天500万亿token。而CPU与GPU的配比，今年上半年业界还在争论1:8还是1:4，到了下半年已经很少有人再讨论具体比例，因为很多人的判断不约而同地指向了1:1。
英特尔技术专家的总结则更加直接，“在智能体AI中，CPU既是‘主办方’，也是‘调度者’。它要贯穿上下文、推理、行动、治理四个环节，其中‘治理’还包括身份、策略、护栏与安全。”所以可以看到，推理AI时代，CPU的工作量很少，工作负载都在GPU身上。而智能体AI时代，推理只是众多复杂环节中的其中一环，更多的任务放到了CPU身上。这也就形成了CPU和GPU比重回归的底层原因。
另外其实还有一件很容易被忽略的事情，那就是AI的需求始终在变，但传统负载需求，如数据中心、服务器等却并未消失。多家市场机构预测显示，全球数据中心负载将从2025年的100GW增长到2030年的200GW，而即便到2030年，传统意义上的基础性负载仍占一半的比重；同时，企业级x86服务器装机量将从6300万台增长到7600万台，占全球服务器装机量近80%。
由此可见，智能体AI不是把旧世界推倒重来，而是在其基础上向上叠加。这也决定了CPU必须同时扛住"老负载"和"新范式应用"的重任，不可能再靠单一硬件指标取胜。
至强6+落地云端，综合性能提升30%
在这次现场活动上，腾讯云高级产品经理夏士悦把CPU云服务器的需求分成了四类：运行智能体、数据处理、后训练，以及CPU一定程度上可以承担的推理任务。除了传统基于GPU的训练，其实其它几个层面都是跑在CPU的。
与之相对应地，腾讯云CVM的产品线也在两条轨道上推进，即使用S9e和S9pro的Granite Rapids，也就是全性能核至强6处理器，它支持全核3.6GHz频率，配备200G网络，整体性能相比上一代提升10%-20%，是目前已经经过一年时间打磨的主流型号。而S9则是Sierra Forest，也就是全能效核的至强6处理器，采用vCPU一比一映射物理核的结构，性能更稳定，支持QAT加速器与vPMU，满足了腾讯内部部分业务的硬性要求。
下一代，则是基于Intel 18A制程工艺，全能效核路线的英特尔至强6+处理器打造的新一代CVM，综合性能相比上一代提升30%。
同时我们注意到，其实30%这个数字的价值不在于它本身，而在于最终的落点。夏士悦给了三个场景：云原生场景、在线高并发场景，以及当前最为火热，也是行业最关心的智能体业务编排场景。这三个场景的共同点都不是靠跑分跑出来的，而是会被真实业务的并发曲线反复拉扯的实际应用场景。这意味着英特尔至强6、至强6+平台已经开始深入到实践场景中去，同时为传统计算和智能体AI奠定可靠基础。
此外，更有说服力的是它经过了腾讯云内部的有效验证方式。腾讯自己的内部业务会率先在云上使用，用真实业务负载打磨产品能力和稳定性。对一款面向智能体时代的服务器CPU来说，这比任何基准测试都重要，因为智能体负载的特征恰恰是实验室里最难复现的。
而具体到智能体AI领域最典型的沙箱场景，数据就更加直观了。在对需求做分类后，腾讯云发现"拉起沙箱"是最典型的重度负载之一，而这个动作需要满足200ms以内的SLA。在这个约束下实测，基于至强6+的下一代机型，并发密度比业界同类产品高出45%；反算下来，单个vCPU在沙箱创建场景下的吞吐能力提升高达94%！
除了算力之外，安全是另一条并行线。智能体运行拥有很高的系统级权限，一旦安全受到威胁，用户数据、隐私都将泄露出去。因此在全生命周期里都需要有可靠的数据保护能力，包括上下文、身份验证、外部链接等等，而英特尔TDX机密计算可以让全周期都处在受保护的环境中。腾讯云CVM选择与英特尔机密计算共同打造这一底座，本质上也是因为智能体一旦具备行动能力，攻击面就从"模型"扩大到了整个"执行环境"。
支持350个沙箱并发，真正有价值的是那条"不往上翘的曲线"
如果说30%是面向通用场景的，那么350这个数字是专门为智能体准备的。
腾讯云CubeSandbox有这样一组用例：很多大模型厂商使用Cube做强化学习训练，每一轮训练需要成千上万个、甚至数十万个沙箱启动来完成评测和推理。所以整个环境的准备时间，直接决定了训练节奏。沙箱执行时长可能从几秒到几小时，内存消耗不小，因此对并发能力和部署密度同时提出了高要求。
CubeSandbox是腾讯云开源的弹性智能体沙箱计算平台，承载了腾讯云的智能体沙箱服务与云函数等大量弹性负载，今年4月开源，与生产代码几乎一致，而这一点很关键，意味着其实际表现不是实验室里的理论数据，而是跑在生产代码上的结果。
它的技术路线里其实有一个比较反直觉的发现：容器的启动确实轻快，但共享宿主机内核隔离度不够；传统虚拟机有独立内核，却又负载太重。而更出人意料的是，容器的部署密度远远不如Cube Sandbox这样的微型虚拟机。
其原因在于资源复用。Cube Sandbox采用MicroVM独立内核结合快照技术，当所有虚拟机基于同一个容器镜像创建时，它们可以在宿主机上共享大量相同资源。同一个镜像可创建3000个虚拟机，但每个只改了2MB内存，实际额外占用的内存只有6GB左右。未修改的内存和磁盘只保留一份，谁改了才会单独存一份；沙箱内的pagecache在整个物理机上全局共享。传统容器各进程内存不共享，冗余和浪费反而更多。
再加上资源池化——Cgroup、网卡都被池化，沙箱创建时是从池子里"取"，而不是从零"建"，并对内核硬件特性做了针对性优化，避免路径卡住。
上述所有这些工程层面的努力最终落到一个非常具体的数字上：至强6+可以同时支持350沙箱并发。
然而这并不是全部，相比350这个数字更值得关注的，其实是即使在高负载情况下，至强6+平台产生的处理时延依然稳定；沙箱创建的P99时延非常低，且随着并发密度增长，时延上升依旧比较平缓；同时腾讯团队还做了额外测试，在宿主机上同时运行其他负载，整体表现依然稳定，不会因为宿主机负载增加，并发密度就迅速下降。
腾讯技术专家表示，“第一次看到这个结果时，如同看到了核弹爆炸”。
这句略带夸张的描述，恰好点出了智能体基础设施的评估标准正在发生改变。过去云厂商比的是峰值性能，现在比的是尾部时延和时延曲线是否陡峭。因为在一轮强化学习里，决定整轮完成时间的不是平均速度，而是最慢的那批沙箱。P99不往上翘，比平均值漂亮有用得多。
值得一提的是，这个结果里有相当一部分来自co-design。英特尔工程师找出了不少内核patch，合入腾讯OpenCloud OS内核，直接降低了并发启动时延。而且所有这些数据都可复测，并且对外公布时进行了"反向虚标"，也就是实测比公布的数字更好。
可见，芯片厂商的工程师把补丁写进云厂商的操作系统内核，这件事情本身比任何性能数字都更能说明双方在保持深度而又紧密的合作。
IAA：把解压从软件手里拿走
无论是推理AI还是智能体AI，内存的重要性也愈加凸显出来。
腾讯云Tencent OS Server产品研发负责人彭浩面对的问题很朴素：内存越来越贵，必须提高容器的高密部署密度。但提升密度的同时，性能不能出现明显回退。
在内存应用里，压缩和解压缩是负载较高也非常常见的关键任务。而相对于压缩来说，其实解压是被业务被动调用的真正关键路径，因此对于解压时延会极度敏感。
腾讯云一开始用的是软件方案，LZ4和ZSTD进行解压。在单路场景下，LZ4的解压时延还能勉强接受，仍在微秒级。但一旦并发多路解压，实测最大时延达到5毫秒，这已经是无法满足业务需求的结果了。
为什么5ms都不行？很多人下意识认为压缩解压是CPU密集型任务，但这类算法在相当程度上是访存密集的。多路并发时，真正出问题的是内存带宽争抢，进而造成内存控制器访存队列拥塞。以往使用的软件方案撞的不是算力墙，而是访存墙。
于是腾讯云开始转向IAA，也就是英特尔至强处理器内置的硬件加速器。选择它的理由很简单——集成在CPU内部的硬件方案，除了硬件压缩解压，还具备低时延、低功耗、低CPU占用的优势。
以腾讯云使用的机型为例，一台服务器上有两个IAA设备，但任一CPU访问时只能访问其中一个。单个IAA设备有2个压缩引擎和8个解压引擎。落地时腾讯云团队对原生驱动做了改造，不需要压缩解压之外的其他特性，所以做了一条更加快速的路径，绕过其余功能的调用开销。
在多种配置组合如4路、8路、16路并行中，最终选定的是IAA-batch-8。
从单路来看，LZ4和ZSTD耗时都很大，而使用IAA-batch-8之后时延大幅下降，解压耗时相比LZ4减少12倍。从多路并发看，从32、64、128到256路，IAA-batch-8的时延基本没有随并发数增长而增长，偶发最大值也小于1微秒，对照组的LZ4则随并发同步抬升。
另外在最接近真实使用的综合压力测试里，256路并发跑综合业务，软件方案平均耗时已经达到1毫秒，IAA则只有56微秒；最大耗时IAA为564微秒，仍能保持在微秒级。
所以我们可以得出如下结论：采用IAA-batch-8组合，相比软件方案（LZ4、ZSTD），平均时延提升16倍，最大时延提升9倍！
此外，英特尔也提供了另一组相互印证的数据：在操作系统Zswap机制下对智能体驻留内存页做压缩，在保证相同2.1倍压缩比的前提下，IAA的压缩和解压缩速度分别达到软件方案的11倍和12倍。
所以如果把这两组数据放在一起看，硬件加速器的真正价值也就很清楚了，它不是胜在平均值，而是把多并发时延曲线压平。毕竟在智能体场景里，一次5毫秒以上的时延，会在数千次循环中被反复放大。
·结语：从"单芯片指标"到"全栈协同效率"
英特尔市场营销集团副总裁、中国区总经理郭威在活动开场时打了一个比方：电力是怎么来的？燃料进锅炉，热能变机械能，再变成电能输出。AI也一样，将需求、数据、电力扔进去，里面的"锅炉"是一个个高密度的GPU、CPU集群加上高性能存储池。以CPU为中枢，结合GPU和存储，才能输出人类想要的内容。
在这个比喻里，CPU的位置被更加明确地放在了中枢位置。而支撑这个位置的，是一整套内置能力：从第四代、第五代至强到至强6、至强6+，SGX和TDX的安全能力持续内置，AMX、QAT、IAA等加速器持续补齐；以及下一代Diamond Rapids平台，也被明确定位为"为智能体AI基础设施设计的CPU"，它最高支持256核，支持AMX与AVX 10.2指令集，1.28GB末级缓存，1.6TB/s内存带宽，支持MRDIMM，128条通道，最高2TB/s双向I/O带宽，所有指标都为智能体而设计。
当然，通过这次腾讯云大会的分享，其实最值得行业注意的不是某个指标，而是落地到实际应用中如何去做最佳方案的匹配。
比如前面提到，英特尔的工程师把内核patch合进了腾讯的OpenCloud OS；Cube Sandbox以近乎生产代码的状态开源，并配有可复测的操作指南；腾讯云把至强6+新实例先拿给自己的内部业务跑真实负载；双方团队每周把智能体ic场景里的一线反馈带回CPU设计团队。芯片、操作系统、云平台、应用，四层在同一条链路上迭代。这些实例都说明，智能体时代，落地实践将变得更加重要。
英特尔技术专家胡勇也说得很坦率：“现在的产品还不能百分之百满足智能体AI的需求，智能体才进入第二年，软硬件生态的配合远没到完美状态。但这恰恰是机会所在。当负载形态还在快速变化、没人能靠一颗芯片的单点指标躺赢时，竞争的单位就从‘产品’变成了‘链条’。”
至强6+落地腾讯云，一系列经过实践证明的数字本质上都是同一条链条在不同位置所产生的结果，性能的提升，多路并发负载能力的提升，内存、安全能力的提升，都是这条链上的节点，但同时又汇集成一整条链。而基于下一代DiamondRapids的腾讯云CVM产品，则是这条链条的延伸方向，也展现了英特尔与腾讯云将持续推进双方的紧密协作。