一块显卡三万美元就能买下,租一年却要花掉五万,这笔账到底该怎么算?为什么越来越多的AI公司宁愿自建机房囤卡,也不愿把钱交给云厂商?
本期聚焦的话题,是Speechify如何通过自建数据中心、大量购置显卡,而非选择云服务,来大幅提升其文字转语音AI模型的训练和推理速度,以及这一决策背后关于成本与战略方向的深层思考。
要理解Speechify的技术选择,首先需要从创始人克里夫的个人经历说起。克里夫是一名阅读障碍者,直到八岁都不会认字。
他的父亲每天给他读《哈利·波特》,才让他慢慢喜欢上文字,学会认字。因此,他最初做Speechify,并不是发现了某个商机,而是真的为了解决自己的生存和学习难题。
正是这种从自身痛点出发的初心,使他在技术决策、尤其是在是否要投入巨资购置显卡这件事上,与许多纯商业驱动的CEO有着截然不同的视角。在这次访谈中,他围绕自建数据中心和采购显卡给出了许多深入的思考,而这些思考都与他的个人经历密不可分。
此次访谈的核心主要围绕两个问题展开:第一,Speechify为什么选择自建数据中心、自购英伟达显卡,而不是直接使用云服务提供商;第二,克里夫自己亲口承认的公司历史上最大的战略失误是什么。
作为一家已拥有六千万用户的行业巨头,其创始人所承认的最大失误,竟然是没有做企业级生意。他自己坦言,在文字转语音这个赛道上,几乎没有真正的对手,但他却因为早期的判断失误,把整个企业级市场拱手让给了竞争对手。
先把结论放在前面。关于自建数据中心和买显卡,第一个关键结论非常直白:对于需要长期训练和长期推理的AI公司来说,买显卡比租要划算太多。
租一年的钱,大约可以买一块半显卡。单纯从省钱角度来看,这已经非常诱人。
但真正让他们下决心的并不是省钱,而是速度——自建数据中心可以比等云厂商分配资源早一年用上最新芯片,这对保持技术领先至关重要。
至于克里夫在文字转语音市场上的误判,根源在于他曾以为该市场会很快变成人人都能做的大宗商品,觉得没有必要去做企业级市场,结果把大好机会让给了对手。他自己总结道,产品只有真正交到用户手里才算数,这是他最具洞察力也最希望大家记住的一句话。
关于租与买的成本对比,算法其实很简单。一块显卡大约三万美元,租用的话,竞价实例可能每小时五美元,签长期合同可能每小时三点五美元,一年租费大致在三万五千美元到五万美元之间。
而买下来只需三万美元,也就是说租一年的钱就可以买一块半显卡。更夸张的是,显卡一般保三年,但三年之后依然可用,有人甚至表示用上十年都没问题。
因此买下来之后,它就成为一个不断为企业创造价值的生产工具,不像手机那样用两年就被淘汰。既然如此,为什么说买显卡比把钱存银行或买债券更划算?
因为当下银行利息或长期债券收益率不过百分之五出头,而租显卡一年的收益远远超过这个数。在克里夫眼里,显卡已经变成了一种非常理想的生产资料,其价值就在于可以持续为所有者赚钱。
同样是买硬件,为什么显卡与手机的价值发挥方式差异如此巨大?因为手机买了之后基本上就是一个人用,不可能同时用五部;而显卡可以成百上千张同时参与并行计算,其价值正体现在大规模的并行运算上。
因此,许多人直觉上以为买多了会浪费,但在大规模AI运算场景下,这种直觉完全不成立——这些显卡可以同时满负荷运转,带来最大产出。
至于为什么必须自建、公有云为何无法满足Speechify对大模型训练的需求,最核心的原因在于大模型训练必须让海量内存直接连到GPU集群上,所有显卡必须能够直接访问同一块极大的内存,这就需要一种整机柜一体化的部署方式,而这在公有云上根本租不到。
因此,他们选择自建并非单纯出于省钱考虑,而是在云端根本无法获得所需的硬件架构。事实上他们一开始也是租的,但很快发现工程师使用时非常紧张,因为每跑一次任务都要花钱,所以能少跑就少跑。
克里夫打了个比方:这就好比乔丹每次想练球都要花钱租球场,那他肯定希望能随时练。于是在2022年,他们一咬牙直接买下了一整排机架,工程师的效率立刻就上去了。
在自家硬件上跑开源模型与在云平台上调用API,两者成本差距到底有多大?实测下来,自家硬件跑编程类任务,每个token的花费只是零点几美分的零头,而租云或调用别人的API,价格根本不在一个量级。
当然,芯片贬值快、技术迭代快,买了显卡会不会很快被淘汰,反而成为负担?这是主持人提出的质疑。
克里夫的回应分为两点:第一,Speechify至今仍有许多推理任务跑在K80这种非常老旧的显卡上,说明硬件可以用上很多年;第二,训练和推理是两回事,训练时确实需要最新最快的卡以争抢时间,但推理时用老卡用户根本感觉不到差别,依然可以在一毫秒内返回结果。
因此老卡并不会被浪费,而是会被挪到边缘推理任务上继续发挥余热,其生命周期非常长。显卡不像汽车那样跑多少公里就会坏,内部真正会动的只有风扇,加之机房恒温恒湿,可以稳定运行很多年。
接下来是一个较新的话题——显卡按揭。英伟达联合黑石、贝莱德、阿波罗、高盛等一众金融巨头推出了一种新玩法:如果买家借钱买显卡,最后还不上款,这些金融机构可以把显卡收回,英伟达则承诺按事先约定的残值比例进行回购,相当于为显卡买家做了兜底。
对银行或贷款机构而言,这意味着以前最担心的抵押品砸在手里卖不出去的风险,如今因英伟达的承诺回购而有了价格托底,可以放心提供贷款,利率也可以更优惠,这就大大降低了买显卡的门槛。
为什么说这种金融创新和二级市场的建立,对显卡成为一种准金融资产至关重要?因为这项合作实际上创造了一个具备流动性的显卡二级市场,正如当年太阳能行业将太阳能板未来的电费收益抵押贷款一样,把原本沉重的设备变成了可抵押、可融资、可轻松转手的资产。
如今的显卡已不只是硬件,更像是一种金融产品。再来看采购显卡这一环节的供应链挑战,现实非常骨感。
想买英伟达显卡,根本没办法直接跟英伟达谈,只能找戴尔这类个人电脑公司,而戴尔经常告诉你没货,因为新芯片本身就极其抢手。下了订单其实也未必稳,连货在哪都不一定知道。
克里夫此次就直接跑到法国下单,本以为很快能提到货,结果货物常常被拖很久,各种理由层出不穷,归根结底就是供不应求——想早点拿货,就得多付钱。他甚至直接跟法国方面说,愿意多给十万美金,但要保证一个月之内必须送到。
面对供货紧张,他们采用的谈判策略颇为聪明。他们并不是去砍单价,而是用合同条款施压:对方未按合同供货,那么公司可以随时另找供应商,而且别人给的条件更优惠;要想继续合作,就必须提供更好的价钱并立即发货。
他们用合同和备选方案作为筹码,且底气十足,因为数据中心场地已经租好,空着一天就要赔一天的钱。对他们而言,显卡晚到一天的损失远远大于运费,因此愿意多付钱让显卡尽快到位。
自建数据中心还有许多容易被忽略但又极为关键的后勤细节。比如保险:显卡是整车运输的,一辆卡车上显卡的价值可能比好几栋房子还贵,一旦翻车或进水,损失极其惊人,因此保险成为不得不考虑的事项。
此外,折旧的计算也至关重要,设备按几年折旧、残值留多少,会直接影响账面成本以及融资能力。另一个大头是散热,GPU极其耗电、发热巨大,许多数据中心开始上液冷,但大部分机房一开始并不具备液冷条件,只能购买所谓的液冷侧车,并请工程师现场安装。
正因如此,这些钱与其投到硬件上,不如多花在流程优化上,硬件哪怕便宜十倍,一年也省不了多少,还要去头疼运输、保险、安保、维护这一大堆事,是不是反而更麻烦?但真正让自建变得不可替代的,是对技术创新速度的掌控权。
而且,如果不是自己的硬件,就只能等云服务厂商升级:比如出现一种新的线缆,可以让机器之间直接高速传输内存,自建数据中心的公司可以马上用上,领先对手;而租用方只能等标准产品上线并排队,可能要等很久。自建与云服务在速度上的差距具体有多大?
如果自购最新硬件,可以比排队等云厂商采购的人提前整整一年拿到新卡。在这个按月竞争的AI行业,这种时间差极为关键。
有时时间上的优势远比单纯省钱更重要。关于全能型创业公司和重资产策略,他认为并非每家创业公司都必须走重资产路线,而是到了某一阶段之后,不做重的代价会非常高。
轻资产在起步阶段非常有优势,但当公司发展到一定规模,轻资产反而会变成天花板。这其实是一个时间点的问题,而不是一个简单的要不要做重的问题。
从一位创始人的成长经历,到他的创业故事,再到他对算力与AI未来的坚定信念,这当中呈现的,既是技术如何改变一个人的命运,也是这种改变如何给更多的人带来希望。一家创业公司尚且愿意一咬牙把整排机架搬回自家机房,更何况那些手握数千亿现金的巨头。
放眼当下,各大科技公司几乎都在不约而同地疯狂借钱、融资、加杠杆,账面上明明趴着海量现金,却仍要向外融资数百亿美元,把钱统统砸向AI与算力。
表面看是魔幻,背后其实是集体焦虑:资本市场一旦听说哪家巨头要少烧一点AI的钱,股价反而会单日暴涨百分之十几,市值一夜之间蒸发或新增数千亿美元,这说明外界已经开始惧怕资本开支过度,但巨头自己却不敢停下。它们怕的,是当年诺基亚的剧本重演。
手机界印钞机般的诺基亚,从巅峰到被贱卖,只用了三年;曾错过移动互联网的微软,花七十多亿美元收购诺基亚手机业务依然无力回天。这些巨头从不缺钱、不缺人、不缺技术,缺的是对新时代的认知和放下旧世界的勇气。
范式转移的残酷之处就在于:不行动的死亡是确定的,行动的不确定性至少还有活路。与此同时,算力本身已成为一门畸形的生意。
地缘政治改写了摩尔定律,高端芯片出口管制让供给被人为收紧,老卡价格不降反升,部分型号半年之内涨幅就接近百分之五十,整机现货半年翻近三倍。只要需求猛增、供给受限的预期还在,囤卡出租就是短期稳赚不赔的买卖。
某些在大模型竞赛中并不占优的玩家,仅靠把算力中心出租给头部AI公司,每年便可收取数十亿乃至上百亿美元的租金,成了彻头彻尾的"算力房东"。更关键的是,这是一门没有护城河的资本品生意。
芯片、算力、训练设施都会随技术迭代快速贬值,没有守成的选项,谁投入慢谁就被淘汰。ChatGPT之后有Claude,Claude之后又被低成本模型搅局,没有谁能靠一个模型躺赢。
巨头庞大的组织、KPI导向和既得利益,反而让它们在新范式面前显得笨重,唯一真正的优势只剩资本——四大云厂商一年合计数千亿美元的资本开支,是创业公司想都不敢想的量级。
于是巨头的终局选项,可能不再是赢下大模型战争本身,而是用资本筑起算力矿场、当好卖铲人。