新一代AI技术的崛起，正不断拓宽和深化技术创新的边界，为一系列相关行业领域带来了巨大影响。新机遇与新挑战并存的当下，生成式AI话题热度不减，但如果其涉及安全和伦理问题，并无法得到妥善解决的话，那么对于当前数字化转型浪潮下的网络安全领域来说，或将给社会带来重大安全问题。

（图源：techherald）

Sora时代，AI带来的新机遇与新挑战

数字经济时代，AI带来的好处很多，但它带来的挑战也很多。

前几天，全球AI巨头OpenAI发布的文生视频大模型Sora，一经问世便引发全网关注。Sora的到来意味着——AI技术史上终于又迎来了一项划时代的产物，其对当今时代内容创作生态、传播机制及消费模式带来了一场革命性重构与颠覆。

相信大家这几天随时都能在短视频平台上刷到由Sora生成的一系列高清视频。Sora首次“下场”真实的短视频消费场景，其与同类竞品相比其带来的冲击太过于巨大，自动生成的视频逼真效果几乎能以假乱真，以至于Sora 母公司OpenAI要特别声明“不是真的”，非常担心AI视频被当真引起不好影响，不遗余力地以各种方式提醒“这是假的！”，防止有人不明所以。

（图源：Tiktok）

Sora的到来，引发了国内外关于这一新技术模型的探讨，不少AI头部厂商纷纷跟进。

这不，就在大家都以为Sora已经是文生视频的“巅峰”了，没想到随后出现AI视频模型——刚刚阿里最新推出的基于音频驱动的肖像视频生成框架EMO（Emote Portrait Alive），再一次刷新了大家对于视频大模型的看法。

据悉，阿里这款肖像视频生成框架EMO（Emote Portrait Alive） ，只需要输入单张参考图像，以及一段音频（说话、唱歌、rap均可），就能生成表情生动的AI视频，且视频里肖像人物的嘴形也完全能跟得上，给视频娱乐创作相关领域带来了新乐趣和更多可能性。

一系列如Sora的生成视频类大模型的出现，极大地突破了众多产业界限，改变了相关领域未来的应用场景，给未来数字世界带来了更加多元化的新发展机遇。

然而，随着生成式AI的爆火，越来越多的企业开始涉足AI及云领域，为相关领域市场带来增长动力的同时，也给网络安全相关领域带来了新挑战。

AI引发网络安全产业变革

（图源：utureskillsprime）

近年来，网络安全领域采用AI解决方案的速度正在飞速上升。据Markets and Markets 估计，到 2026 年，AI网络安全市场将达到 382 亿美元。AI 网络安全市场中的典型软件产品包括与基于 AI 的网络监控相关的各种功能和选项，如语言、语音、视觉、传感器数据和机器学习 (ML) 算法的应用程序接口 (API)。

生成式AI大模型技术对网络安全行业的影响，不仅关乎安全产品形态的改变（防御视角），还关乎行业总需求的提升（攻击视角）。新一代AI技术的崛起，让安全攻击形势也发生变化，如社会工程攻击、漏洞与攻击面发现、恶意代码生成等。

由于AI/大模型存在原生安全问题，其对安全投入影响最大的为数据安全和AI工程化领域。数据安全既包括了训练阶段数据采集不当、存在偏见或标签错误、数据被投毒等，也包括了模型在应用的过程中，面临数据泄露、隐私曝光等风险。通常需要采取包括数据加密、隐私计算、数据清洗等数据安全保障手段。

目前，不少企业借助AI的以下三方面优势来帮助网络安全团队，管理网络安全风险、技术挑战和资源限制：

一、AI可以提高系统的稳健性，即使在处理错误输入时，系统仍能保持其初始假定的稳定配置的能力，这归功于自我测试和自修复软件。

二，AI可以加强系统的韧性，即系统通过促进威胁和异常检测来抵御和容忍攻击的能力。

三，AI可以用来加强系统的反应，即系统对攻击作出自主反应的能力，识别其他机器的漏洞，并通过决定攻击哪个漏洞和在哪个点上进行战略操作，并发起更积极的反击。

在许多情况下，AI可以增强，而非取代人类安全分析师的决策，并将被整合到加速反应行动的过程中。

人们既能发挥AI的优势来帮助网络安全稳健发展，也能借助AI来扩大网络安全的威胁。

当前，通过AI进行恶意攻击的行为者和个人的类别正在激增，针对AI系统的新的攻击形式在性质上与传统网络攻击不同，它正以一种指数级的、无法衡量的方式增加攻击面。

对此，研究人员一致认为，AI对网络安全格局的影响是：

扩大现有威胁：廉价且日益有效的AI系统可用于攻击，意味着各类个人和团体有可能成为恶意行为者。由于廉价计算硬件的扩散，通过云计算能力的不断增加和成本的降低，以及大多数可以促进模型训练和潜在恶意活动的工具的开源，恶意行为者的范围正在扩大。

引入新的威胁：除了现有的威胁在规模和范围上的扩大，AI的进步意味着可能会引入全新的威胁。AI不受人类能力限制的特点，可以让行动者执行原本不可行的攻击，例如深度造假、破解验证码、蜂拥式攻击等。

改变威胁的典型特征：针对AI系统的攻击也经常以窃取信息或破坏系统为目的，但以更微妙的形式和更长远的方向精心设计。威胁者试图为一个特定的意图获得对目标系统的控制，或者通过入侵系统让模型揭示其内部工作原理，然后改变其行为。这一目标主要可以通过四种类型的攻击来实现，但不限于：数据中毒、篡改分类模型、后门和AI模型的逆向工程。

此外，AI对于网络安全中相关的伦理安全问题也值得被探讨。

AI在系统稳健性、韧性和响应能力方面的优势，给伦理方面带来了挑战，或会阻碍其在网络安全方面的应用。如果这些问题没有通过相关政策得到妥善解决，或可能会给社会带来重大问题。

好在，当前不少AI相关领域企业已经意识到了以上问题，并同步通过设置相关安全防护“墙”来提供相关解决方案，避免AI在“狂飙”的路上可能或产生的一系列安全问题。