DC娱乐网

内存战争,开启全新战场……HBF为何至关重要 1、过去的循环神经网络...

内存战争,开启全新战场……HBF为何至关重要

1、过去的循环神经网络(RNN)存在无法长时间记住句子前文内容的短板。为解决这一问题,长短期记忆网络(LSTM)应运而生,实现对关键信息的长期留存。但如今人工智能需要同时处理长文本、历史对话、检索资料等海量信息。由此产生新的技术课题:AI需要在物理内存中存放大量所需数据,并能够快速调取使用。
2、高带宽内存HBM能够在GPU近侧极速供给数据,但其成本高昂,容量也存在局限。随着AI推理与智能Agent技术发展,内存需求达到TB级别,若将全部数据都存放于HBM之中,在成本效益与可扩展性上都会遭遇瓶颈。
3、闪迪推出的HBF是一类全新内存层级,与HBM不同,它垂直堆叠NAND闪存,能够以相对低廉的成本实现更大存储容量。第一代HBF目标规格为512GB容量、1.6TB/s读取带宽。
4、传统SSD将NAND闪存放置在远端,经由PCIe接口传输数据;而HBF堆叠NAND裸芯片,放置在GPU这类计算芯片的邻近位置。通过硅通孔(TSV)与微凸点实现互联,可实现大批量数据的高速传输。打个比方:传统SSD如同从远方仓库用货车运送货物,HBF则相当于把大型仓库直接修建在工厂旁边。
5、一旦HBF实现商业化落地,NAND闪存的定位将发生转变:不再仅仅作为长久保存数据的存储设备,而是变身靠近计算芯片、为AI高速输送海量数据的内存介质。如果把HBM比作造价昂贵、通行极快的高速公路,那么HBF就是修建在GPU身旁,速度稍低、却可承载巨量数据通行的大容量通道。
注:xPU (x Processing Unit): CPU-GPU-NPU等运算处理器UCIe (Universal Chiplet Interconnect Express): 在一个半导体封装内连接多个芯片组的高速接口。如果PCIe (Peripheral Component Interconnect Express)连接CPU-GPU-SSD等系统内设备,那么UCIe则连接封装内的芯片组。