这里所有文章均来自
微信公众号“火星AIGC”
想要看到更多更新的AI前沿信息、AI资讯和AI工具实操，
请关注微信公众号“火星AIGC”。
两名00后建立的初创公司以大胆的创新精神聚焦于AI芯片的研发，仅用两年时间推出了一款名为Sohu的全球最快AI芯片。Sohu不仅速度是英伟达最新的B200芯片的10倍，而且价格也便宜10倍。(此Sohu跟国内的搜狐没有关系)
豪赌Transformer架构
为何称之为“豪赌”？因为这家名为Etched的公司，在2022年创立的时候就赌Transformer会统治AI模型界，并投入两年时间研发针对Transformer的专用芯片 (ASIC) ——Sohu。设计思路极端而激进：它彻底抛弃了传统AI芯片的“万能钥匙”式设计，转而专注于服务transformer这一类模型。这意味着，对于那些传统的AI模型，如DLRMs、CNNs、RNNs或LSTMs等，Sohu将无法提供支持，如果业界放弃Transformer架构，他们的研究投入将毫无价值。
其创始人之一的Gavin Uberti 对媒体说“边缘行业给了我们很多教训——他们学到的一个教训是不要专攻，你不知道未来会发生什么，把赌注押在错误的地方，你可能会一无所获，”Gavin Uberti 说，“我们接受了这个建议，并把它抛到了九霄云外。”
当然他们赌赢了，两年后的今天遍地都是Transformer模型，ChatGPT、Sora、Gemini、Claude、Stable Diffusion 3 等等。
性能与成本的双重突破
对于transformer模型，Sohu的性能是惊人的——它被誉为有史以来最快的AI芯片，其速度甚至超过了英伟达下一代Blackwell（B200）GPU一个数量级，而且价格更为亲民。一台 8xSohu 服务器每秒可以处理超过 500,000 个 Llama 70B 令牌。也就是说一台 8xSohu 服务器可取代 160 个 英伟达的H100 GPU。
基准测试针对的是 FP8 精度的 Llama-3 70B：无稀疏性、8x 模型并行、2048 输入/128 输出长度。使用 TensorRT-LLM 0.10.08（最新版本）计算的 8xH100，8xGB200 的数字是估算的。
而Sohu芯片的价格，官方说大概也是B200的10倍，不过是便宜10倍。
Sohu芯片的设计初衷是为了应对日益增长的Transformer推理需求，并处理当前及未来各类Transformer模型。它对计算能力和利用率进行了优化，而不是只关注存储带宽。由于搜狐只能运行一种算法，因此可以删除绝大多数控制流逻辑，从而拥有更多数学块。因此，搜狐的 FLOPS 利用率超过 90%（而使用 TRT-LLM 的GPU上 FLOPS 利用率约为 30%）。
专注于Transformer的简化软件开发
Sohu芯片的一个突出优势在于其简化的软件开发。Etched公司指出，针对Sohu的软开发仅需针对Transformer模型，这大大减少了开发的复杂度与工作量，开发者无需再面对不同模型带来的软件处理难题。这样的设计不仅提升了开发效率，也降低了技术门槛。
并且Sohu芯片（从驱动程序到内核再到服务堆栈）都将是开源的，这将使得更多的企业和研究人员能够利用这一新兴技术进行创新和实验。
两个00后+哈佛辍学生
Sohu芯片的母公司Etched的创始人是两个00后，今年23岁。Gavin Uberti 和 Chris Zhu同时也是两个哈佛大学辍学生，感觉多么熟悉的传奇故事套路。
Gavin Uberti（左）和 Chris Zhu（右）
2022年，Gavin Uberti 原本计划从哈佛休学一年，但最终在 OctoML 找到了一份从事 ApacheTVM 开源编译器和微内核的工作。在工作中，Gavin Uberti遇上了同样的哈佛大学打工王子Chris Zhu，他们发现Arm的指令集中的一些低效设计使得他们的工作效率很差。当他们思考如何系统性地解决这个问题时，发现可以利用这个思路来设计一款专门针对基于transformer 架构的 LLM（当时的ChatGPT 3.5）的计算芯片。
于是，这两个初生牛犊All in 了......
在2023年底，Etched已经拿到500万美元的种子轮融资，这次A轮又融到了1.2亿美元。
官方宣称已经在跟台积电洽谈4nm工艺出片，并且已经有公司提前预定了，应该在年内能够正式推出产品。
市场前景与行业影响
Sohu芯片的上市无疑将对AI硬件市场产生深远影响，Sohu芯片的出现将彻底改变AI基础设施的部署方式。
在AI模型越来越大的今天，计算资源的消耗呈指数级增长。而天下苦英伟达久矣，Sohu的出现，犹如一场及时雨，为渴望更高效、更经济计算解决方案的AI产业带来了新的希望。就像其官网所宣称的，Sohu芯片是为了运行明天的万亿参数模型。
