第五届GBAT 2023 大湾区智能时代产业峰会，采用线上专题形式发布。2023年12月25日起，我们通过六合商业研选全网媒体矩阵，围绕智能时代主题，发布AI浪潮、算力演化、模型开悟、硬件进化、诸神之战5期专题文章。
智能时代大幕已启，未来将加速演进，让我们一起跟踪AI技术创新与产业发展，见证AI融入与改变人类生活，展望智能时代未来图景，共同迎接无限可能的新世界到来。
本期我们带来GBAT 2023 大湾区智能时代产业峰会第一篇报告AI浪潮，梳理AI发展史与3次浪潮，尤其是深度学习从边缘走向主流历程，分享给大家，enjoy！
正文：
全文3,968字
预计阅读8分钟
AI概念诞生已久，不断曲折发展。1956年，AI概念在美国达特茅斯会议上被首次提出，此后半个多世纪发展过程，经历多次高潮与低谷，在两者交织中曲折发展。
算力、算法、数据三者相互依赖，类似生产力、生产关系、生产资料，共同决定AI发展。算力，用于执行计算任务的硬件资源，是实现复杂AI算法至关重要的基础设施。算法，AI系统核心部分，决定AI如何从数据中学习、推理、执行任务，直接影响AI性能与效果。数据，训练AI的基础物资，丰富、高质量数据对训练与优化算法至关重要。
算力、算法、数据相互影响，AI发展呈现周期性起伏。随着通用电子计算机问世，更好的算力支持，为AI算法发展创造条件；当新算法被提出，需计算资源与数据进行训练与验证，此时算法发展可能超过算力与数据可用性，导致AI发展瓶颈；随者摩尔定律推动算力发展，数据爆发式增长，GPU、TPU等专用硬件问世，新算法得到更好应用，再次打开人们想象空间，AI热潮再次来临。
回顾AI发展史，主要经历三次浪潮，目前以深度学习为代表的第三次浪潮蓬勃发展。AI第一次浪潮：20世纪50年代~70年代中期，注重机器逻辑推理能力。AI第二次浪潮：20世纪80年代~90年代初期，专家系统推动AI应用发展。AI第三次浪潮：20世纪90年代末期~至今，深度学习逐渐从早期边缘研究，成为AI主流技术，推动AI更全面发展与应用，为探索AGI带来曙光。
AI第一次浪潮：注重机器逻辑推理能力
AI第一次浪潮（20世纪50年代~70年代中期）：1956年夏天，美国达特茅斯学院举行历史上第一次AI研讨会，成为AI正式诞生标志，作为前沿新兴概念，人们对AI技术寄予厚望，催生AI第一次浪潮。
达特茅斯会议照片
1958年，美国国防部高级研究计划局DARPA成立，开始对AI领域进行数百万美元投资，让计算机科学家们自由探索AI技术新领域，助力AI第一次浪潮；同年，达特茅斯会议发起者约翰·麦卡锡John McCarthy，组建全球第一个AI实验室，开发Lisp，成为后来30年AI领域最主要编程语言。
20世纪60年代，自然语言处理与人机对话技术突破性进展，大幅提升人们对AI期望。
第一次AI浪潮，主要围绕机器逻辑推理能力，总体成就有限。当时AI技术研发，通过引入符号方法，进行语义处理，将待研究与解决问题，转化为计算机能处理的符号，应用逻辑公理进行求解，主要用于解决代数、几何等问题。由于当时计算机性能与可获取数据量限制，AI发展与应用不达预期，进入第一次低谷期。
AI第二次浪潮：专家系统推动AI应用发展
AI第二次浪潮（20世纪80年代~90年代初期）：1968年，美国斯坦福大学教授爱德华·费根鲍姆Edward Feigenbaum，提出首个专家系统DENDRAL，随后专家系统被AI学者广泛采用，推动AI应用发展，孕育AI第二次浪潮。
专家系统
1980年，美国卡耐基梅隆大学为美国数字设备公司DEC，开发专家系统XCON，每年节省4,000万美元成本。
20世纪80年代开始，专家系统在多领域广泛使用，让AI变得更实用，建立专家系统的知识库系统与知识工程，成为当时主要研究方向。
1981年，日本东京大学计算机中心主任元冈达TohruMoto-Oka受日本政府所托，研究提出第五代计算机计划，旨在开发专家系统、自然语言处理、计算机视觉、并行推理机、逻辑编程语言等领域，以实现发展AI目标；随后，英国、美国纷纷响应，开始向第五代计算机研究，提供大量资金。
专家系统智能有限，AI进入第二次低谷期。专家系统性能受知识获取的限制，主要依托规则与知识库，需人工编写大量规则，同时升级难度高、维护成本居高不下，缺乏灵活性与推理能力；当时计算机处理能力受限，无法处理大规模数据与复杂模式识别任务。
AI第三次浪潮：深度学习成为主流，带来AGI曙光
AI第三次浪潮（20世纪90年代末期~至今）：1997年5月11日，IBM超级计算机深蓝Deep Blue，战胜国际象棋世界冠军卡斯帕罗夫，标志机器智能在某种程度上能超越人类智能，引发AI第三次浪潮，企业、学术界、政府纷纷加大对AI投入。
深蓝超级计算机战胜国际象棋世界冠军卡斯帕罗夫
这次AI浪潮中，深度学习大放异彩。深度学习是机器学习领域研究方向之一，起源自20世纪40年代开始的人工神经网络研究，经过80多年曲折发展，从早期边缘研究，逐渐成为AI领域主流技术。
深度学习作为AI技术，持续创新发展，背后是算法、算力、数据三方面不断突破
算法方面，深度学习以算法为主线，主要经历三次兴衰。深度学习在人工神经网络基础上发展而来，经过1958年感知机Perceptron等早期神经网络结构探索；20世纪80年代，1980卷积神经网络CNN、1982年循环神经网络RNN、1985年玻尔兹曼机等多层网络结构开始出现；21世纪以来，2006年深度信念网络DBN、2014年生成对抗网络GAN、2017年Transformer架构的大型语言模型等不断发展，推动深度学习算法突破。
2006年，深度学习概念正式诞生，AI进入深度学习时代，助力大型语言模型兴起。2006年，深度学习三巨头之一杰弗里·辛顿Geoffrey Hinton团队，在《科学》发表论文，正式提出深度学习Deep Learning概念，推动深度学习真正成为系统性研究课题与理论框架，为后续研发奠定基础。
深度学习之后不断取代其他算法，广泛用于自然语言处理、计算机视觉、语音识别、时序分析等任务，取得超过先前技术的效果。
杰弗里·辛顿Geoffrey Hinton
2012年，在英伟达GPU支持下，深度学习实现重大突破，由此加速发展。Geoffrey Hinton带领学生Alex koshevsky、Elias suskaver，参加全球知名图片识别ImageNet比赛，通过在2个英伟达Geforce GTX 580 GPU上，使用1,400万张图片训练7天，成功构建深度神经网络模型AlexNet，识别准确率达80%，以压倒性优势取得冠军。
作为对比，谷歌猫项目使用1.6万个CPU，AlexNet创新性使用具有高并行计算能力的2个英伟达GPU，在算力与算法上都取得突破性贡献，带来震撼性影响力。
比赛后不久，Geoffrey Hinton团队创立仅数月的公司DNNResearch，计划对外出售，谷歌、微软、百度、DeepMind等参与竞拍。最终，谷歌以4,400万美元成功收购DNNResearch，对应Hinton三人团队人均估值1,467万美元。
AlexNet成功与DNNResearch竞拍，成为深度学习史上重要转折点，开启深度学习大爆发序幕，并从学术界主导转为产业界主导，科技巨头成为AI发展主力军，发展势头不仅没有丝毫减缓，反而一直在加速。
2012年前，深度学习基本上是学术研究，由大学学者引领；2012年后，全球科技公司大规模投资深度学习研发，大量AI创业公司创立、快速发展，越来越多顶尖学者加入谷歌、微软、OpenAI、DeepMind等公司。
2010年，DeepMind成立，总部位于英国伦敦，早期定位非盈利AI研发实验室，以开发AGI为长期目标。
2011年，Google Brain立项，著名计算机科学家杰夫·迪恩Jeff Dean、深度学习专家吴恩达是项目成员。
2013年，深度学习三巨头之一杨立昆Yann LeCun领导的Facebook AI研究实验室FAIR成立；同年，百度创立深度学习研究院IDL，成为中国最早做深度学习的团队。
2014年，谷歌以4亿英镑/5亿美元，收购全球顶级AI研究机构DeepMind，2023年将DeepMind与Google Brain合并为Google DeepMind。
2015年，马斯克、Sam Altman、Ilya Sutskever、Greg Brockman等共同成立OpenAI，坚定探索AGI。
2016年，Google旗下DeepMind开发的AlphaGo，以4：1战胜世界顶级围棋选手李世石，实现AI领域重大突破。
2017年，谷歌提出基于自注意力机制Self-Attention的Transformer模型，首次将其用于自然语言处理领域。
2018年，谷歌、OpenAI分别推出基于Transformers的大型语言模型BERT、GPT-1，标志着大型语言模型形成完整研发体系与路径，引领AI技术进入大模型时代。
2022年11月30日，OpenAI发布生成式聊天大模型ChatGPT，展现令人惊叹的智能涌现能力，仅2个月，注册用户破亿，成为史上增长最快的消费级应用。
2023年以来，全球科技巨头以AI大模型为核心，掀起新一轮军备竞赛，AI大模型密集发布，性能持续提升，成为大国科技竞争新的主战场。
2023年7月，马斯克领导的团队宣布成立AI公司xAI，专注建立好的AGI，目标是理解宇宙真实本质，将与X/推特、特斯拉密切合作，成为数字超级智能的第三家竞争者。
算力方面，AI模型训练算力设备，经历从CPU到GPU，从单机到集群，再到专用芯片演进过程。
2007年，英伟达推出并行计算平台与编程模型CUDA，进一步发挥GPU方便、高效的并行计算能力，降低训练神经网络模型难度。
英伟达CUDA架构技术体系
2010年开始，学术界发现GPU用于模型训练，效率远超CPU，开始使用英伟达GPU用于模型训练。
2012年，Geoffrey Hinton团队通过英伟达GPU训练AlexNet深度神经网络模型后，AI相关研究开始越来越多采用GPU，逐渐成为模型训练主流方式。
2016年后，AI训练中使用大量GPU集群进行模型训练成为趋势；微软云、谷歌云、亚马逊AWS等平台，采用英伟达GPU，搭建计算集群，逐渐成为AI算力主要提供商；英伟达DPU、谷歌TPU等专用硬件相继问世，为模型训练提供更多选择。
GPU加持下，长期限制深度学习发展的算力瓶颈被很大程度突破，加上英伟达不断升级GPU架构，提升算力，满足深度学习指数级增长的算力需求。
从2012年AlexNet，到2016年深度残差网路ResNet，算力消耗增长近2个数量级；从2018年谷歌BERT，到2021年OpenAI GPT-3，算力消耗增长近4个数量级；2022年，OpenAI为训练ChatGPT，采用微软Azure云平台的1万多块英伟达A100 GPU；在此期间，受益神经网络技术进步，模型训练效率提升，节省不少算力，否则算力消耗会更夸张。
数据方面，神经网络模型相比其他AI技术，对数据规模要求更高，神经网络模型训练数据，整体从小规模专业数据集，逐步发展到海量多领域混合数据集。
20世纪90年代前，AI模型训练使用数据，主要由学者收集，基本属于学术研究，资金等限制下，数据集规模有限，成为影响模型性能瓶颈之一。
20世纪90年代开始，随着互联网兴起，部分网页与文本数据，开始用于模型训练。
21世纪以来，随着算法规模不断扩大与复杂化，AI模型需大量专业数据进行训练，ImageNet、Pascal等专业大数据集开始出现。
2012年后，随着科技巨头加大布局深度学习领域，加上移动互联网逐渐普及，各类电子设备与互联网应用产生海量数据，为AI模型训练提供丰富数据资源。AI模型训练，开始大规模采集互联网数据与自然语言资源，同时采用更广泛领域的混合多源数据，提升训练效果。
随着数据来源不断丰富，AI模型训练使用数据规模，不断指数级增长。OpenAI GPT系列模型为例，GPT-2采用网上共800万网页、超过40GB文字资料进行训练；GPT-3采用45TB（1TB=1,024GB）数据进行训练，相比GPT-2数据量增加1,000倍以上。OpenAI官方未披露ChatGPT、GPT-4训练数据情况。
研究机构预测，机器学习数据集可能2026年前耗尽所有高质量语言数据，届时大模型为进一步发展，需收集、使用图像与视频等多模态数据进行训练，还有望借助大模型自己生成新数据等技术。
相关研报：
人类未来文明三部曲之二：智能时代专题预售开启，奇点临近，未来已来
九宇资本赵宇杰：智能时代思考，认知思维，存在原生、降维、升维三波认知红利
九宇资本赵宇杰：智能时代思考，以史为鉴，科技浪潮，从互联网到AI
九宇资本赵宇杰：智能时代思考，宇宙视角，从碳基生物，到硅基智能体
人类未来文明三部曲之一：元宇宙专题预售开启，59期45万字
九宇资本赵宇杰：1.5万字头号玩家年度思考集，科技创新，无尽前沿
九宇资本赵宇杰：1.5万字智能电动汽车年度思考集，软件定义，重塑一切
【重磅】前沿周报：拥抱科技，洞见未来，70期合集打包送上
【重磅】六合年度报告全库会员正式上线，5年多研究成果系统性交付
【智能电动汽车专题预售】百年汽车产业加速变革，智能电动汽车时代大幕开启
【头号玩家第一季预售】：科技巨头探索未来，头号玩家梯队式崛起
【头号玩家第二季预售】：科技创新带来范式转换，拓展无尽新边疆
【首份付费报告+年度会员】直播电商14万字深度报告：万亿级GMV风口下，巨头混战与合纵连横
【重磅】科技体育系列报告合集上线，“科技+体育”深度融合，全方位变革体育运动
【重磅】365家明星公司，近600篇报告，六合君4年多研究成果全景呈现
九宇资本赵宇杰：CES见闻录，开个脑洞，超级科技巨头将接管一切
【万字长文】九宇资本赵宇杰：5G开启新周期，进入在线世界的大航海时代｜GBAT 2019 大湾区5G峰会
九宇资本赵宇杰：抓住电子烟这一巨大的趋势红利，抓住产业变革中的变与不变
【IPO观察】第一季：中芯国际、寒武纪、思摩尔、泡泡玛特、安克创新等11家深度研报合集
【IPO观察】第二季：理想、小鹏、贝壳、蚂蚁、Snowflake、Palantir等12家公司深度研报合集
【IPO观察】第三季：Coinbase、Roblox、快手、雾芯科技等12家公司深度研报合集
【重磅】年度观察2019系列合集：历时3个多月，超20万字近500页，复盘过去，展望未来，洞悉变与不变
【珍藏版】六合宝典：300家明星公司全景扫描，历时3年，210万字超5,000页，重磅推荐
九宇资本赵宇杰：对智能电动汽车产业的碎片化思考
九宇资本赵宇杰：九宫格分析法，语数外教育培训领域的道与术
【2023回乡见闻录】90、00后小伙伴们万字记录，生活回归正轨，春节年味更浓
【2022回乡见闻录】20位90、00后2万字，4国13地，全方位展现国内外疫情防疫、春节氛围、发展现状差异
【2021回乡见闻录】22位90后2万字，就地过年与返乡过年碰撞，展现真实、立体、变革的中国
【2020回乡见闻录】20位90后2万字，特殊的春节，时代的集体记忆
【重磅】22位“90后”2万字回乡见闻录，讲述他们眼中的中国县城、乡镇、农村
六合君3周岁生日，TOP 60篇经典研报重磅推荐
下午茶，互联网世界的三国杀
5G助推AR开启新产业周期，AR眼镜开启专用AR终端时代
新商业基础设施持续丰富完善，赋能新品牌、新模式、新产品崛起，打造新型多元生活方式
【重磅】中国新经济龙头，赴港赴美上市报告合辑20篇
知识服务+付费+音频，开启内容生产新的产业级机遇，知识经济10年千亿级市场规模可期
从APP Store畅销榜4年更替，看内容付费崛起
新三板破万思考：新三板日交易量10年100倍？
九宇资本赵宇杰：科技改变消费，让生活更美好｜2017 GNEC 新经济新消费峰会
九宇资本赵宇杰：创业时代的时间法则，开发用户平行时间｜2016 GNEC 新经济新智能峰会
九宇资本赵宇杰：互联网引领新经济，内容创业连接新生态｜2016 GNEC 新经济新营销峰会
请务必阅读免责声明与风险提示
