AI为核心的新一轮科技创新浪潮已至，AI将与互联网一样，带来新一轮范式革命，人类社会将进一步加速发展。我们精心准备，重磅推出【智能时代专题】，目前已规划85篇深度原创研报，将全方位梳理AI产业、技术、代表性公司等发展历史、现状、趋势，展望智能时代未来图景，挖掘投资机会。
智能时代专题：深度学习浪潮
免费版2,586字，预计阅读6分钟
完整版34,210字，欢迎付费解锁
深度学习经过80多年跌宕沉浮，不断创新发展。深度学习Deep Learning是机器学习Machine Learning领域研究方向之一，起源自20世纪40年代开始的人工神经网络研究，经过80多年曲折发展，从早期边缘研究，逐渐成为AI领域主流技术，使大量机器学习应用成为现实，推动AI实现更全面发展，为探索AGI带来曙光。
深度学习作为AI技术，成功取决于算法、算力、数据三大要素，深度学习技术持续创新发展，背后是深度学习算法、算力、数据不断突破。
2006年开始的深度学习第三次浪潮延续至今，深度学习不断取代其他算法，广泛用于自然语言处理、计算机视觉、语音识别、时序分析等任务，取得超过先前相关技术的效果，进一步在医疗、教育、产品设计等各行各业落地，彻底改变人类工作与娱乐方式。
英伟达GPU加持下，长期限制深度学习发展的算力瓶颈被很大程度突破，英伟达也不断升级GPU架构，提升GPU算力，满足深度学习不断增长的指数级算力需求。
加上移动互联网普及，人类进入大数据时代，各类电子设备与海量互联网应用，产生数据规模爆发式增长，为AI模型训练提供丰富数据资源，深度学习实现快速发展。
一、算法：从感知机到深度神经网络，深度学习算法不断迭代创新。
深度学习发展，以算法为主线，主要经历3次浪潮。深度学习在人工神经网络基础上发展而来，经过1958年感知机Perceptron等早期神经网络结构探索；20世纪80年代，1980年卷积神经网络CNN、1982年循环神经网络RNN、1985年玻尔兹曼机等多层网络结构开始出现；21世纪以来，2006年深度信念网络DBN、2014年生成对抗网络GAN、2017年Transformer架构的大型语言模型LLM等，不断创新发展，推动深度学习算法不断迭代创新。
第三次浪潮（2006年以来）：AI研究进入深度学习时代，大型语言模型异军突起。
21世纪以来，多层神经网络得到更广泛应用。随着大数据时代来临，与GPU并行计算技术应用，为深层网络训练提供数据与算力基础，加上反向传播算法得到进一步改进，应用难度进一步降低，人工神经网络开始普遍采用卷积神经网络CNN、循环神经网络RNN等多层网络结构，大规模用于计算机视觉、语音识别、自然语言处理等任务，发挥出更强大学习能力。
2006年，杰弗里·辛顿Geoffrey Hinton团队在《科学》发表论文，正式提出深度学习Deep Learning概念，将深度学习定义为一系列方法，可构建多层次特征表示，较高层表示的学习依赖较低层输出，目的是提取数据的高级内在表征，深度学习真正成为系统性研究课题与理论框架，为后续研发奠定理论基础，掀起汹涌至今的神经网络第三次浪潮，推动AI研究进入深度学习时代。
2012年，在英伟达GPU支持下，深度学习实现重大突破，由此加速发展，不断破圈。Geoffrey Hinton带领学生Alex koshevsky、Elias suskaver，通过在英伟达GPU上使用1,400万张图片训练AlexNet深度神经网络模型，在ImageNet挑战赛中成功将错误率从26％降到15％，以压倒性优势取得冠军。
比赛后不久，Geoffrey Hinton与Alex koshevsky、Elias suskaver，创立仅数月的深度学习公司DNNResearch，计划对外出售，谷歌、微软、百度、DeepMind等公司参与收购，在美国加州太浩湖畔进行秘密竞拍。最终，谷歌以4,400万美元成功收购DNNResearch与Geoffrey Hinton研究团队，Geoffrey Hinton出任Google科学家，直到2023年离职。
AlexNet成功与DNNResearch秘密竞拍，成为深度学习史上重要转折点，开启深度学习大爆发序幕。
2012年起，深度学习开始走向成熟，新技术成果不断涌现，同时AI在产业界影响不断扩大。2012年之前，深度学习基本上是学术研究，科技公司关注不多；2012年之后，产业界对深度学习兴趣激增，全球科技公司竞相大规模投资深度学习研发，大量AI创业公司创立、快速发展，AI领域展开激烈人才争夺战，越来越多顶尖学者加入谷歌、微软、OpenAI、DeepMind等科技公司，这些公司逐渐成为深度学习研究主力军。
二、算力方面，AI模型训练算力设备，整体经历从CPU到GPU，从单机到集群，再到专用芯片演进过程，以适应算法迭代与数据规模增长，对算力指数级增长的需求。
2005年起，学者开始尝试利用GPU加速深度学习训练，但当时GPU性能有限，相比CPU加速效果不是很明显。
2007年，英伟达推出并行计算平台与编程模型CUDA，进一步发挥GPU方便、高效的并行计算能力，同时提供大量用于深度学习的框架工具、加速库、应用实例等，让开发者利用GPU训练深度神经网络难度大幅度降低，实现在云端快速构建与部署AI模型。
2010年开始，学术界发现GPU基于并行计算能力，用于AI模型训练，效率远超CPU，开始使用英伟达GPU用于模型训练。
2012年，Geoffrey Hinton团队通过英伟达GTX 580 GPU训练AlexNet深度神经网络模型，在ImageNet评测中取得冠军。之后AI相关研究开始越来越多采用GPU，逐渐成为深度学习主流。
2016年后，AI训练中使用大量GPU集群进行模型训练成为趋势；亚马逊AWS、谷歌云、微软云等云服务平台，采用英伟达GPU，搭建计算集群，逐渐成为AI算力主要提供商；英伟达DPU、谷歌TPU等专用芯片相继问世，为AI模型训练提供更多选择。
从2012年AlexNet出现，到2016年ResNet问世，图像神经网络训练算力消耗增长近2个数量级；从2018年谷歌BERT，到2021年OpenAI GPT-3，训练算力消耗增加近4个数量级。
2022年，OpenAI为训练ChatGPT，采用微软Azure云计算平台的1万多块英伟达A100 GPU。在此期间，得益神经网络技术进步，模型训练效率不断提升，节省不少算力，否则算力消耗增长会更加夸张。
三、数据方面，神经网络模型相比其他AI技术，对数据规模要求更高，神经网络模型训练数据，整体从小规模专业数据集，逐步发展到海量多领域混合数据集，以适应AI模型发展对训练数据规模不断增长需求。
20世纪90年代前，AI模型训练使用数据，主要由学者自己收集，基本属于学术研究，资金等限制下，数据集规模有限，成为影响模型性能瓶颈之一。
20世纪90年代开始，随着互联网兴起，部分网页与文本数据，开始用于语言模型训练。
21世纪以来，随着算法需求不断扩大与复杂化，各类AI任务需大量专业数据进行训练，ImageNet、Pascal等专业大数据集开始出现。
2012年后，随着科技巨头加大布局深度学习领域，凭借资金与用户规模等优势，获取数据集规模更丰富，AI模型训练，开始大规模采集互联网日常数据与自然语言资源，同时采用更广泛领域的混合多源数据，提升模型训练效果，加速深度学习技术发展。
随着数据来源不断丰富，AI模型训练使用数据规模，不断指数级增长。OpenAI GPT系列模型为例，GPT-2采用网上共800万网页、超过40GB文字资料，进行无监督学习训练；GPT-3采用45TB（1TB=1,024GB）数据进行训练，相比GPT-2数据量增加1,000倍以上，相当于整个维基百科英文版数据量160倍。
OpenAI官方未披露ChatGPT模型训练数据情况，媒体报道，权重最大的数据集是开源版本OpenWeb Text，数据主要从Reddit论坛等社交平台抓取内容；其他代表性数据集，包括维基百科Wikipedia、公开图书资料Books、技术问答社区Stack Exchange等、代码库Github等、论文库ArXiv等、新闻存档资料RealNew等、医疗数据集PubMed等。
相关研报：
人类未来文明三部曲之二：智能时代专题预售开启，奇点临近，未来已来
九宇资本赵宇杰：智能时代思考，认知思维，存在原生、降维、升维三波认知红利
九宇资本赵宇杰：智能时代思考，以史为鉴，科技浪潮，从互联网到AI
九宇资本赵宇杰：智能时代思考，宇宙视角，从碳基生物，到硅基智能体
人类未来文明三部曲之一：元宇宙专题预售开启，59期45万字
九宇资本赵宇杰：1.5万字头号玩家年度思考集，科技创新，无尽前沿
九宇资本赵宇杰：1.5万字智能电动汽车年度思考集，软件定义，重塑一切
【重磅】前沿周报：拥抱科技，洞见未来，70期合集打包送上
【重磅】六合年度报告全库会员正式上线，5年多研究成果系统性交付
【智能电动汽车专题预售】百年汽车产业加速变革，智能电动汽车时代大幕开启
【头号玩家第一季预售】：科技巨头探索未来，头号玩家梯队式崛起
【头号玩家第二季预售】：科技创新带来范式转换，拓展无尽新边疆
【首份付费报告+年度会员】直播电商14万字深度报告：万亿级GMV风口下，巨头混战与合纵连横
【重磅】科技体育系列报告合集上线，“科技+体育”深度融合，全方位变革体育运动
【重磅】365家明星公司，近600篇报告，六合君4年多研究成果全景呈现
九宇资本赵宇杰：CES见闻录，开个脑洞，超级科技巨头将接管一切
【万字长文】九宇资本赵宇杰：5G开启新周期，进入在线世界的大航海时代｜GBAT 2019 大湾区5G峰会
九宇资本赵宇杰：抓住电子烟这一巨大的趋势红利，抓住产业变革中的变与不变
【IPO观察】第一季：中芯国际、寒武纪、思摩尔、泡泡玛特、安克创新等11家深度研报合集
【IPO观察】第二季：理想、小鹏、贝壳、蚂蚁、Snowflake、Palantir等12家公司深度研报合集
【IPO观察】第三季：Coinbase、Roblox、快手、雾芯科技等12家公司深度研报合集
【重磅】年度观察2019系列合集：历时3个多月，超20万字近500页，复盘过去，展望未来，洞悉变与不变
【珍藏版】六合宝典：300家明星公司全景扫描，历时3年，210万字超5,000页，重磅推荐
九宇资本赵宇杰：对智能电动汽车产业的碎片化思考
九宇资本赵宇杰：九宫格分析法，语数外教育培训领域的道与术
【2023回乡见闻录】90、00后小伙伴们万字记录，生活回归正轨，春节年味更浓
【2022回乡见闻录】20位90、00后2万字，4国13地，全方位展现国内外疫情防疫、春节氛围、发展现状差异
【2021回乡见闻录】22位90后2万字，就地过年与返乡过年碰撞，展现真实、立体、变革的中国
【2020回乡见闻录】20位90后2万字，特殊的春节，时代的集体记忆
【重磅】22位“90后”2万字回乡见闻录，讲述他们眼中的中国县城、乡镇、农村
六合君3周岁生日，TOP 60篇经典研报重磅推荐
下午茶，互联网世界的三国杀
5G助推AR开启新产业周期，AR眼镜开启专用AR终端时代
新商业基础设施持续丰富完善，赋能新品牌、新模式、新产品崛起，打造新型多元生活方式
【重磅】中国新经济龙头，赴港赴美上市报告合辑20篇
知识服务+付费+音频，开启内容生产新的产业级机遇，知识经济10年千亿级市场规模可期
从APP Store畅销榜4年更替，看内容付费崛起
新三板破万思考：新三板日交易量10年100倍？
九宇资本赵宇杰：科技改变消费，让生活更美好｜2017 GNEC 新经济新消费峰会
九宇资本赵宇杰：创业时代的时间法则，开发用户平行时间｜2016 GNEC 新经济新智能峰会
九宇资本赵宇杰：互联网引领新经济，内容创业连接新生态｜2016 GNEC 新经济新营销峰会
请务必阅读免责声明与风险提示
