Sora火爆背后,惊人的数据中心碳排放会挑战碳中和进程吗?

友绿智库课程 2024-03-21 16:27:06

2月15日(美国当地时间),美国人工智能研究公司OpenAI在其官网发布文生视频模型Sora。该模型可以遵循用户文本指令,生成长达一分钟的视频,包含细致情景、多角度镜头。此外,该模型还能根据静态图像生成视频,并精确将图像内容动画化。Sora模型的问世被认为是AI领域的重要进展,将AI技术在视频生成和处理领域的应用推向了新的高度。Sora模型的诞生预示着视频内容创作和编辑将迎来革新。

据研究,人工智能有望在能源优化、智能交通系统、精准农业、气候模型等方面帮助减少碳排放。然而也需要注意,AI系统的训练和运行需要大量的计算能力和电力,这可能导致更多的碳排放。

通用AI能耗统计

人工智能运行所需的计算能力正在稳步增长。例如,AlphaZero计划所需的功率每3.4个月翻一番,仅在2012年至2018年期间就增加了30万倍。

最近,旧金山的研究人员开发了能够解决魔方的人工智能。这项工作可能消耗了大约2.8吉瓦时的电力(大约相当于三个核电站一小时内的电量)(有线)。

GPU,类似风扇加热器的机器,用于挖掘加密货币,也用于人工智能,通常每产生 500 瓦的热量会消耗 500 瓦的能量(这意味着人工智能的消耗直接导致二氧化碳排放)。

训练一个人工智能模型或聊天机器人可以比100个美国家庭全年使用的电力还要多。仅训练 Chat-GPT 就消耗了 1.287 吉瓦时的能源,大致相当于 120 个美国家庭一年的能源使用量。

谷歌研究人员最近发现,人工智能约占其公司总用电量的 10-15%(彭博社)。

在一般使用期间,训练 AI 模型的前期电力成本仅为其总耗电量的 40% 左右。较新的 AI 模型也提供了更多变量——ChatGPT 提供了 1750 亿,而其前身为 15 亿(彭博社)。

2019 年的一项研究发现,创建一个具有 1.1 亿个参数的生成式 AI 模型 (“BERT”) 消耗的能量与往返跨大陆航班上的一张机票消耗的能量相同(《科学美国人》)。

▶创建一个更大的人工智能模型,比如 GPT-3(有 1750 亿个参数),就能耗(1287 兆瓦时)和碳排放(552 吨)而言,相当于驾驶 123 辆汽油动力汽车一整年。这是单独构建模型,而不是在模型启动并运行后消费者使用(《科学美国人》)。

▶出于这个原因,一些公司正在努力创建更小的 AI 模型,比如 LLaMA,这是 Meta 对 OpenAI 大型语言模型(《科学美国人》)的七倍大小的大型语言模型的回答。

▶然而,人工智能模型的大小并不是能源效率的唯一预测指标。谷歌进行的一项研究发现,使用更环保的数据中心、更高效的模型架构和更高效的处理器可以将 AI 模型的碳足迹减少 10 到 100 倍。

▶BLOOM 模型的大小与 GPT-3 相似,但在其创建过程中仅消耗了 433 兆瓦时的电力,并且仅产生了 30 吨二氧化碳(《科学美国人》)。

AI能耗成本

1.市场领导者英伟达(Nvidia)的主要数据中心主力芯片(负责操作为AI提供动力的GPU机器)的成本约为10,000美元。

2.据估计,在 GPT-3 范围内训练一个 AI 模型的成本可能高达 400 万美元(CNBC)。

训练一个更大、更高级的语言模型的成本可能是原来的两倍多(CNBC)。

训练 Meta 最大的语言模型 LLaMA 只有 650 亿个参数(而当前 GPT 模型有 1750 亿个参数),在 100 万个 GPU(图形处理单元)小时 (CNBC) 的过程中训练成本为 240 万美元。

LLaMA 使用 2,048 个 Nvidia A100 GPU 对 1.4 万亿个代币进行训练(1,000 个代币大致相当于 750 个单词)。这总共花了 21 天。

“重新训练”人工智能模型和更新软件的成本也可能高达 10,000 美元。这就是为什么 AI 模型通常没有最新的“知识”——例如,GPT-3 不知道 2021 年之后的事件 (CNBC)。

3.“AI 员工”的成本通常与“人类员工”一样高——Latitude 公司每月花费近 200,000 美元在 2021 年达到顶峰时为他们的模型 AI Dungeon 提供动力(同时它跟上了数百万的每日请求)(CNBC)。

4.推理的成本可能非常高。ChatGPT 在今年 1 月拥有 1 亿活跃月度用户,据估计,仅当月处理他们的数百万条提示就花费了 OpenAI 4000 万美元(CNBC)。

有些模型甚至每天使用数十亿次,例如Microsoft的 Bing AI 聊天机器人,它每天为所有 Bing 用户提供服务。据估计,必应人工智能聊天机器人至少需要40亿美元的基础设施才能继续以这种速度运行(CNBC)。

初创公司 Latitude 的语言模型是由 OpenAI 训练的,因此较小的公司不负责训练成本。然而,推理成本仍然很高(每天数百万个请求中的每一个大约半美分)(CNBC)。

5.2023 年 2 月,ChatGPT 降低了公司访问其 GPT 模型的成本。现在,每 750 字的输出成本为五分之一美分 (CNBC)。

数据中心能耗

在全球范围内,数据中心每年消耗约 200 太瓦时的电力(这意味着这些中心的消耗量超过一些国家/地区)。截至 2021 年,全球约有 8,000 个数据中心。

根据美国能源部的数据,数据中心约占美国总用电量的2%。

据估计,到2030年,计算和通信技术将消耗全球8-21%的电力,而数据中心将占这一统计数据的三分之一。

一些提供“云”服务的公司已经承诺或采取措施实现碳中和。谷歌的数据中心目前是碳中和的,微软计划到2030年实现“负碳”,OpenAI签署了使用Microsoft云服务的协议。

大多数数据中心以 100% 的容量运行,这意味着 20 兆瓦的设施将相当一致地消耗 20 兆瓦的能量(宾夕法尼亚大学)。

仅在 2020 年,全球新数据创建量就达到了 59 ZB。2010 年至 2025 年间,数据创建量可能会增加 146 倍(美国国际贸易委员会)。

算力是人工智能发展的“底座”,继ChatGPT带来算力需求的爆发式增长之后,Sora进一步引爆全球算力需求。相较于ChatGPT,Sora所带来的算力需求增长将是倍数级。

ChatGPT已经让全球算力需求经历了一次洗礼,但Sora的出现犹如在湖面投下一颗重磅炸弹,其深度学习和大规模数据处理的能力要求远超ChatGPT。这样的需求增长使全球算力缺口愈发明显,尤其是在高性能计算领域,缺口之大几乎可以用‘饥渴’来形容。当前算力基础设施面对Sora带来的挑战显得捉襟见肘,急需大规模的升级和扩展。

据报道,OpenAI正在筹备一项最高可达7万亿美元的AI基础设施投资计划,以满足其实现通用人工智能所需要的算力需求。

这无疑意味着更多数据中心,更高能耗。

生成式AI能耗水耗惊人

1月,OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)终于承认了研究人员多年来一直在说的话——人工智能(AI)行业正走向能源危机。在瑞士达沃斯举行的世界经济论坛年会上,阿尔特曼警告说,下一波生成式人工智能系统将消耗比预期更多的电力,能源系统将难以应对。

阿尔特曼寄希望于什么能源突破呢?不是设计和部署更可持续的人工智能系统,而是核聚变。他也参与了这场游戏:2021 年,阿尔特曼开始投资位于华盛顿州埃弗雷特的核聚变公司 Helion Energy。

但是大多数专家都认为,核聚变不会对到本世纪中叶脱碳以应对气候危机的关键目标做出重大贡献。Helion最乐观的估计是,到2029年,它将产生足够的能源来为40,000个普通美国家庭供电;一项评估表明,OpenAI 在加利福尼亚州旧金山创建的聊天机器人 ChatGPT 已经消耗了 33,000 个家庭的能源。据估计,由生成式 AI 驱动的搜索消耗的能量是传统网络搜索的四到五倍。在几年内,大型人工智能系统可能需要与整个国家一样多的能源。

这不仅仅是能源。生成式人工智能系统需要大量的淡水来冷却其处理器并发电。在爱荷华州西得梅因,一个巨大的数据中心集群为 OpenAI 最先进的模型 GPT-4 提供服务。当地居民的诉讼显示,2022 年 7 月,即 OpenAI 完成模型训练的前一个月,该集群使用了该地区约 6% 的水。当谷歌和Microsoft准备他们的Bard和Bing大型语言模型时,根据两家公司的环境报告,两者的用水量都出现了大幅飙升,一年内分别增长了20%和34%。预计到2027年,全球人工智能对水的需求可能是英国的一半。

另外根据 AI 初创公司 Hugging Face 和卡内基梅隆大学的研究人员进行的一项研究,生成图像是使用基于 AI 的任务中能源和碳排放量最大的。使用强大的 AI 模型生成1,000张图像所产生的二氧化碳排放量大约相当于在一辆平均汽油车上行驶4.1英里的排放量。相比之下,他们研究中最少碳排放的文本生成模型所产生的二氧化碳排放量相当于在类似车辆上行驶0.0006英里。

Luccioni 及其团队研究了 Hugging Face 平台上10个热门 AI 任务的排放情况,包括问答、文本生成、图像分类、字幕和图像生成等。他们在88个不同的模型上进行了实验。对于每个任务,比如文本生成,Luccioni 运行了1,000个提示,并使用她开发的 Code Carbon 工具测量了消耗的能源。团队还计算了使用8个生成模型进行这些任务所产生的排放量,这些模型经过训练,可以完成不同的任务。

研究人员不仅发现每项任务的排放量远高于他们预期,而且还发现 AI 的日常使用排放量远远超过训练大型模型的排放量。根据一些估计,像 ChatGPT 这样的热门模型每天有多达1000万的用户,其中许多用户会多次使用该模型。

因此限制人工智能对生态的影响势在必行,而且人工智能行业可以优先考虑使用更少的能源,建立更高效的模型,并重新思考如何设计和使用数据中心。正如法国的BigScience项目所展示的BLOOM模型3,可以构建一个与 OpenAI 的 GPT-3 大小相似的模型,碳足迹要低得多。

要获得关于环境影响的准确和完整的数据仍然非常困难。生成式人工智能的全部全球成本是严密保护的企业机密。这些数字依赖于艾玛·斯特鲁贝尔(Emma Strubell)等研究人员的实验室研究和萨沙·卢乔尼(Sasha Luccioni)有限公司报告;以及地方政府发布的数据。目前,生成式AI公司几乎没有改变的动力。

AI正在面临立法

2月1日,以马萨诸塞州参议员埃德·马基(Ed Markey)为首的美国民主党人提出了《2024年人工智能环境影响法案》。该法案指示美国国家标准与技术研究院(National Institute for Standards and Technology)与学术界、工业界和民间社会合作,制定评估人工智能对环境影响的标准,并为人工智能开发者和运营商创建一个自愿报告框架。该立法是否会通过仍不确定。

要真正解决人工智能对环境的影响,需要采取多方面的方法,包括人工智能行业、研究人员和立法者。在工业领域,可持续做法应势在必行,并应包括测量和公开报告能源和水的使用情况;优先开发节能硬件、算法和数据中心;并且只使用可再生能源。由独立机构定期进行环境审计将支持透明度和遵守标准。

研究人员可以优化神经网络架构以实现可持续性,并与社会和环境科学家合作,指导技术设计以实现更大的生态可持续性。

AI能耗预测存在误区?

1月29日,美国信息技术与创新基金会(ITIF)发布了报告《重新审视对人工智能能耗的担忧》,概述当前一些批评者对AI技术能耗过大污染环境的推测,这些推测对政策的影响,重新审视了AI的能耗和未来几年的发展,并对政策制定者提出建议,以降低大众对AI能耗的担忧。

报告表示,AI对未来能源需求的预测如此之高,原因之一是,它们使用了不准确或误导性的测量方法。另一个原因是,这些预测忽略了AI广泛商业化所带来的实际经济和技术现实。

(一)AI能耗受到经济因素限制

许多对AI能耗的估计都不切实际。购买更多芯片、建设更多数据中心以及为这些数据中心提供电力都很昂贵。企业是追求利润的企业,它们不会长期提供运营成本高于收入的服务。要么使用AI的能源成本会降低,要么企业部署AI的方式会受到成本因素的限制。

(二)AI的能源足迹忽略了替代效应

如果不考虑技术的替代效应,讨论AI系统的能源使用趋势可能会产生误导。例如,发送电子邮件取代了邮寄信件,参加视频会议取代了亲临现场参加会议。随着时间的推移,AI也将产生类似的影响,研究结果表明,在其他条件相同的情况下,使用AI替代人力在某些情况下可以减少碳排放。

(三)未来创新将提高AI的能效

计算的历史就是一部不断创新的历史,而这些创新也延伸到了能效领域。例如,2010年至2018年间,全球数据中心的计算实例增加了550%,存储容量增加了2400%,但全球数据中心的能源使用量仅增加了6%。这些能源效率的提高来自硬件、虚拟化和数据中心设计的改进,它们是云计算能够扩展的部分原因。类似的趋势已经出现在AI领域。

也许未来,生成式AI能自己给自己编一段节能节水小程序?

部分素材来源:

NATURE 2024年2月20日《生成式人工智能的环境成本正在飙升——而且大多是秘密的》

Rethinking Concerns About AI's Energy Use

0 阅读:0

友绿智库课程

简介:感谢大家的关注