免责声明

1 BERT Large (int8)

8592+：单节点，Supermicro SYS-221H-TNR，2 个英特尔至强 PLATINUM 8592+，64 个内核，350W TDP，启用超线程，启用睿频，总内存 1024GB (16x64GB DDR5 5600MT/s [5600MT/s])，BIOS 3.0，微码 0x210002e0，2 个以太网控制器 X710 支持 10GBASE-T，1 个 7T 三星 MZQL27T6HBLA-00A07，Ubuntu 26.04 LTS，7.0.0-29-generic。基于英特尔 2026 年 8 月进行的测试。

软件：BERT-Large 推理、2025_ww34 dlboost 容器、Python 3.12.14、PyTorch 2.12.0+cpu、INT8、BS=1、多实例

9575F：单节点，Supermicro AS -2126HS-TN，2 个 AMD EPYC 9575F 64 核处理器，64 个内核，400W TDP，SMT 开启，加速开启，总内存 1536GB (24x64GB DDR5 6400MT/s [6400MT/s])，BIOS 1.9，微码 0xb002161，2 个 BCM57416 NetXtreme-E 双媒体 10G RDMA 以太网控制器，1 个 1.7T Micron_7450_MTFDKCC1T9TFR，Ubuntu 26.04 LTS，7.0.0-14-generic。基于英特尔 2026 年 8 月进行的测试。

软件：BERT-Large 推理、2025_ww34 dlboost 容器、Python 3.12.14、PyTorch 2.12.0+cpu、Zentorch 2.12.0、INT8、BS=1、多实例

2 Redis-SVS

8592+：单节点，Supermicro SYS-621H-TN12R，2 个英特尔至强 PLATINUM 8592+，64 个内核，350W TDP，启用超线程，启用睿频，总内存 1024GB (16x64GB DDR5 5600MT/s [5600MT/s])，BIOS 3.0，微码 0x210002e0，2 个 I350 千兆位网络连接，2 个以太网控制器 E810-C 支持 QSFP，1 个 1.7T 三星 MZ1L21T9HCLS-00A07，Ubuntu 26.04 LTS，7.0.0-29-generic。基于英特尔 2026 年 9 月进行的测试。

软件：Redis 8.9.241（不稳定）+ RediSearch（搜索社区）+ VectorSimilarity vecsim v8.2.12 + SVS v0.3.2；驱动程序 vector-db-benchmark 567409f，Python 3.12。FP16，BS=1，多实例

9755：单节点，Supermicro AS -2126HS-TN，2 个 AMD EPYC 9755 128 核处理器，128 个内核，500W TDP，SMT 开启，加速开启，总内存 1536GB (24x64GB DDR5 6400MT/s [6400MT/s])，BIOS 1.9，微码 0xb002161，2 个 MT2910 家族 [ConnectX-7]，2 个以太网控制器 10-Gigabit X540-AT2，1 个 1.7T Micron_7450_MTFDKBG1T9TFR，Ubuntu 26.04 LTS，7.0.0-30-generic。基于英特尔 2026 年 9 月进行的测试。

软件：Redis 8.9.241（不稳定）+ RediSearch（搜索社区）+ VectorSimilarity vecsim v8.2.12；驱动程序 vector-db-benchmark 567409f，Python 3.12。FP16，BS=1，多实例

3 声明：与运行 BERT Large INT8 ISO 核心 64c 工作负载的基于 AMD EPYC 9575 的服务器相比，英特尔® 至强® 6 8592+ 实现了 3:1 的服务器整合率。

使用 10 个机架（120 个服务器）基于英特尔® 至强® 8592+ 的服务器运行 BERT Large INT8 ISO 核心 64c，而不是 30 个机架（270 个服务器）基于 AMD EPYC 9575 的服务器，从而节省 15244 兆瓦时的能源，减少 6463 吨的 CO2 排放，并在四年内降低 1167.6 万美元的总拥有成本。与运行 BERT Large INT8 ISO 核心 64c 的英特尔至强 AMD EPYC 9575 相比，英特尔至强 8592+ 的性能提升 2.23 倍，每台服务器的性能功耗比提高 2.95 倍。

假设：1 个 42U，15KW 机架，支持多达 20 个 2U 机架服务器，1 个 TOR 以太网交换机，1.6 PUE，千瓦时/千克二氧化碳系数为 0.42394。

4 年内针对 30 个机架的基于 AMD EPYC 9575 的服务器，截至 2025 年 5 月的估算：资本支出成本：1519.8 万美元；运营支出成本（4 年，包括电源和冷却公用事业成本、基础设施和硬件维护成本）：578.2 万美元；能耗：23009 MWh；CO2 排放：9754 吨。

4 年内针对 10 个机架的搭载英特尔至强 8592+ 的服务器，截至 2025 年 5 月的估算：资本支出成本：705.5 万美元；运营支出成本（4 年，包括电源和冷却公用事业成本、基础设施和硬件维护成本）：225 万美元；能耗：7764 MWh；CO2 排放：3291 吨。

成本基于英特尔估算，系统定价源自主要原始设备制造商，信息来自 thinkmate.com，截至 2025 年 5 月。

结果和成本可能会有所不同。

4 比较第五代英特尔® 至强® 处理器与第三代英特尔® 至强® 处理器发现的理论内存带宽提升。