看到谷歌为了缓解AI内存紧张,开始从退役服务器里拆DDR4,我立马想到中科曙光,它最近做ParaCache的方向可能确实踩到了一个越来越现实的问题。 以前大家讨论AI基础设施,注意力基本都在GPU,现在发现GPU有了,显存和内存照样可能卡脖子。 谷歌现在的做法很务实:旧内存继续利用,同时在软件层面压
看到谷歌为了缓解AI内存紧张,开始从退役服务器里拆DDR4,我立马想到中科曙光,它最近做ParaCache的方向可能确实踩到了一个越来越现实的问题。
以前大家讨论AI基础设施,注意力基本都在GPU,现在发现GPU有了,显存和内存照样可能卡脖子。
谷歌现在的做法很务实:旧内存继续利用,同时在软件层面压