太“可怕”!OpenAI发布新模型Sora引爆圈内!马斯克:人类认输吧

小轩丹参 2024-02-29 07:22:29

人工智能(AI)巨头OpenAI在新年伊始就扔出了杀手锏。

当地时间2月15日,奥特曼发布OpenAI首个视频生成模型Sora。完美继承DALL·E 3的画质和遵循指令能力,能生成长达1分钟的高清视频。

其中包含高度详细的场景、复杂的摄像机运动以及充满活力的情感的多个角色,也可以根据静态图像制作动画。

根据OpenAI官网,Sora能够生成具有多个角色、特定类型的运动以及主体和背景的准确细节的复杂场景。Sora不仅了解用户在提示中提出的要求,还了解这些东西在物理世界中的存在方式。

尽管OpenAI也展示了多个目前Sora的缺陷,但是已公布且未经修改的“原生AI视频”足以震撼全场。

目前,官网已经更新了多个视频demo

其生成效果出乎意料的好!!!

雨后东京街头,潮湿地面反射霓虹灯光影效果堪比RTX ON。

有紧跟舞龙队伍抬头好奇观望的儿童,还有不少人掏出手机边跟边拍,海量人物角色各有各的行为。

行驶中的列车窗外偶遇遮挡,车内人物倒影短暂出现非常惊艳。

也可以来一段好莱坞大片质感的电影预告片:

竖屏超近景视角下,这只蜥蜴细节拉满:

可爱的动物在沙滩玩耍,栩栩如生。

网友直呼game over,工作要丢了:

连马斯克都被Sora生成效果震撼到

并表示「gg人类」

OpenAI Sora技术报告发布

Video generation models as world simulators

视频生成模型作为世界模拟器

我们探索了在视频数据上进行大规模训练生成模型。具体来说,我们联合训练了文本条件扩散模型,处理不同持续时间、分辨率和宽高比的视频和图像。我们利用了一种在视频和图像潜码的时空块上操作的变压器架构。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果表明,扩大视频生成模型的规模是朝着构建物理世界通用模拟器的有前途的路径。

目前已有一些视觉艺术家、设计师和电影制作人(以及OpenAI员工)获得了Sora访问权限。

他们开始不断po出新的作品,奥特曼也开始了在线接单模式。

带上你的提示词@sama,就有可能收到生成好的视频回复。

3D空间的真实感

Sora能创造出带有动态视角变化的视频,让人物和场景元素在三维空间中的移动,看起来十分自然。

如下,一对情侣漫步在雪天中的东京,视频的生成和真实的运镜效果有一拼。

再比如,Sora拥有更加辽阔的视野,生成山水风景与人徒步爬山的视频。

视频的一致性和物体的持续存在

在生成长视频时,保持场景和物体随时间的连续性一直是个挑战。

Sora能够较好地处理这一问题,即便在物体被遮挡或离开画面时,也能保持其存在感。

下面例子中,窗台前的花斑狗,即便中途有多个路人经过,它的样子依旧保持一致。

例如,它可以在一个视频中多次展示同一个角色,而且角色的外观在整个视频中保持一致。

赛博风格的机器人,从前到后旋转一圈,都没有跳帧。

Sora有时可以模拟一些简单的动作来影响世界的状态。例如,画家可以在画布上留下随时间持续存在的新笔触,或者一个人可以吃一个汉堡并留下咬痕。

Sora 革了谁的命?

Sora 发布前,有很多烟雾弹式的讯息更新,比如:OpenAI 组建研究儿童安全的新团队、OpenAI 正准备推出 GPT-4.5-turbo,但真正的“杀手级更新”被隐藏的很好,这也导致像 Pika、Runway 一样的明星创业公司,措手不及。何况 OpenAI 的联合创始人 Andrej Karpathy 本来就是 Pika 的资方之一。

源码资本副总裁李露霖在虎嗅主办的沙龙上表示,短视频是当前硬件基础设施Mass Market渗透率最高的形态。有数据透露,目前国内短视频用户的规模在10亿以上,有数据称抖音2022年年收入700亿美金以上,快手也在900亿人民币以上。不过面对这样一个市场,在 Sora 发布前,所有的视频生成工具,均没有达到可付诸商业或工业化生产的水平。

大厂目前对于AI视频生成的态度相当模棱两可。根本问题在于,现在的人工视频生成效果更好,且成本也能接受,AI 视频生成,在此前没有大家想象的那么颠覆,所以整体策略偏向“防御”,而非“进攻”。

这一切,既麻痹了像 Pika、Runway 一样的创业公司,让他们以为机会已至、前景够好;也让这些公司及其投资人,低估了视频生成赛道的竞争烈度,以为窗口期仍然足够长。

所有的 AI 视频生成公司,在这种麻痹里,都陷入了同质化竞争:过多关注更高画质、更高成功率、更低成本,而非更大时长以及世界模型。

Pika、Runway、Meta,大体都是如此,在时长不超过 4s 的范围内,可以做到画质极度精美,但物体本身的运动幅度极低,且会变形。

0 阅读:0

小轩丹参

简介:感谢大家的关注