谷歌 3D Torus 集群架构升级,集群光模块及 OCS 配比翻倍
Semi 最新提出谷歌下一代 TPU 集群要由传统 3D Torus 向 6D Torus 架构升级。我们认为核心原因在于,随着集群 All-to-All 通信占比提升,传统 3D Torus 的网络直径和二分带宽逐渐成为系统效率瓶颈。以 4096 颗 TPU 为例,3D Torus 最坏路径约 24 跳,而 6D Torus 可降至约 12 跳,同时显著提升二分带宽,从而降低远端通信时延和链路拥塞,提高大规模 TPU 集群的效率。
而架构升级最显著的变化就是光模块配比的提升以及配套的 OCS 数量提升。3D Torus 中,单颗 TPU 主要通过 6 条 ICI 与柜内邻居连接,仅立方体边界链路需要通过光模块及 OCS 完成跨柜互联,TPU 与光模块的配比为 1:1.5。而 6D Torus 在原有 6 条柜内 ICI 基础上新增 6 条跨柜光互联的 ICI。对应谷歌下一代 TPU V9 双向 3.6TB 的带宽,可以算出单TPU与2.4T光模块的配比为1:3、较3DTorus翻倍提升,同步带动 OCS 数量翻倍提升。
受益标的: 中际旭创,天通股份,腾景科技