AI剧创作革命:昆仑万维发布Skyreels,带来崭新体验

科技研习看今朝 2024-08-21 02:21:25

8月19日,昆仑万维发布了全球首个集成视频大模型与3D大模型的AI短剧平台——SkyReels。该平台集成了剧本生成、角色定制、分镜设计、剧情编排、对白配音、背景音乐(BGM)以及影片合成等功能,使创作者能够一键生成短剧,轻松制作高质量的AI视频。SkyReels支持制作时长为2分半的短剧作品。

「 我们应该放下固化和抵抗的思维,拥抱这个碎片化信息时代。」 2023 年 12 月初,导演黄建新在北京电影学院北影大讲堂上感慨。在当今这个碎片化的时代,比起电影,竖屏短剧兴起在真正意义上形成了全球输出。

几分钟到十几分钟的单集时长、强烈的娱乐性和快节奏剧情,使短剧频频击中用户的“爽点”。短短三年间(截至2023年),中国短剧市场的规模就已达到年度院线电影票房的七成。与此同时,大量短剧独立APP在全球范围内上线,中文在线推出的短剧软件ReelShort在美国iOS排行榜上的表现尤为出色,甚至超越了长期霸榜的TikTok,实现了破圈。短剧已成为近年来增长最快的影视领域之一,也成为新技术的试验场。

“一键翻译”、“AI换脸”等技术屡见不鲜,多家网文公司还推出了辅助作者写作的内容生成大模型。借助AI大模型的视频生成能力,原本需要三个月的短剧制作时间如今缩短至半个月。尽管AI创作的短视频片段一经发布便能获得百万级流量加持,但AI全流程短剧的制作仍面临诸多挑战。创作者往往需要在ChatGPT、Midjourney、Runway、Eleven Labs、ComfyUI、Adobe、剪映等多个AI工具间反复切换,作品效果却仍难尽如人意。

在此背景下,拥有十多年出海经验的中国人工智能科技企业昆仑万维推出了全球首个AI短剧平台——SkyReels。这一集成视频大模型与3D大模型的AI短剧平台,不仅是国产大模型在短剧领域的成功落地,也标志着“一键成剧”、“一人一剧”时代的到来。此外,这一革命性的工具有望引发AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,进一步推动短剧内容创作与消费市场的快速发展。

SkyReels ——全球首款 AI 短剧平台

打开 SkyReels 网页,可以立刻感到「AI 短剧」与其他 「 AI 创意」平台的设计,很不一样。 一切都是由 AI 驱动,但「 AI 创意」平台以图片、视频生成为主,SkyReels 则集剧本生成、角色定制、分镜设计、视频拍摄与合成于一体, 完整复制了短剧工业化流程。

短剧要想收视不“扑”,首先需要一个好创意,并将其转化为一份引人入胜的爽文剧本,这是最关键的。虽然文本创作一直是大语言模型(LLM)的强项,但SkyReels的独特之处在于,其文本创作大模型经过专业训练,更懂得如何撰写具有“爽点”、能引发流量的剧本。

用户只需输入一个概念或故事创意,选择“创作类型”——例如情感剧,系统便会自动生成一份符合要求的剧本,结构完整、情节丰富。此外,用户还可以上传已有剧本,由AI进行润色和优化,以提升剧本的专业度和可读性。

剧本准备好后,下一步就是“物色演员”,在SkyReels上,这个环节称为角色设计。传统流程中,我们通常会先让LLM撰写角色设计文本,再借助Midjourney等文本生成图像工具来打造角色形象。

想为角色配音,还需要借助Elevenlabs等音频工具。如今,在SkyReels上,只需在页面输入相应要求(包括角色配音),便可“一键生成”角色,大幅提升了制作效率。

进入拍摄之前,除了物色演员,导演还要制作分镜。所谓分镜,主要是将整个故事分解成一系列连续的画面,每个画面都代表一个特定的场景或动作。 没有美术背景的导演在以往需要依赖绘画师的帮助来完成分镜设计,这个过程相当繁琐。

现在,他们可以让LLM生成分镜头的文字脚本,然后使用Midjourney等工具绘制分镜图。在SkyReels上,AI能够根据剧本内容一键生成分镜图片和相应的文字脚本,仅需等待1-2分钟即可查看每个镜头的效果。如果不满意,还可以通过修改文字(如场景或人物动作)来调整分镜效果。更重要的是,借助自研技术,SkyReels生成的分镜图片不仅高清、细节丰富,还能确保角色和场景在不同分镜中保持一致性和连续性。

通过AI 3D引擎与视频大模型的结合,SkyReels能够将分镜自动转化为连贯的视频,生成的场景和人物更加生动且一致,还支持1080P 60帧视频输出,确保了优质的观剧体验。此外,SkyReels单次可生成时长达180秒的视频,相较于Sora的60秒和可灵的10秒,这一能力显著提升了视频制作的效率与可能性。

“一键成剧”背后的技术创新

SkyReels背后,有几大模型和引擎支撑,包括昆仑万维自研的剧本大模型SkyScript、自研的分镜大模型StoryboardGen以及业界率先将AI 3D引擎与视频大模型深度融合的创新平台WorldEngine,基于此,SkyReels拥有支撑短剧创作全流程的能力。

具体操作上,在SkyReels中用户只需简单输入一个概念或创意,系统就能自动生成一份结构完整、情节丰富的剧本,并且提供不同类型和风格的故事模板供选择。剧本大模型SkyScript掌握着短剧的“灵魂”——剧本创作。

事实上,不仅仅是剧本,文本大模型也是整个创作流程的重要支柱。一些微短剧编剧曾尝试使用ChatGPT生成剧本,但发现最终的结果缺乏情感张力和剧情变化,仅仅是平铺直叙的文字堆砌。为了解决这一问题,昆仑万维构建了亿级高质量短剧结构化数据集SkyScript-100M。该数据集对海量精彩短剧的剧情节奏、爽点和情绪变化进行了精细标注,专为剧本创作而设计。

通过精心标注的故事中能引起观众强烈兴趣的「爽点」,如主角外貌、镜头构图、贯穿人物表达的情绪, SkyScript 学会了关注并生成这些细节。 在模型架构上,为了确保生成内容的专业度和可控性, SkyScript 也采用了多智能体框架。透过「创意人」、「选角导演」、「编剧」、「小说作者」、「导演」等智能体的协作,模仿工业制作流程,完成剧本创作。

和 SkyScript 一样,自研分镜大模型 StoryboardGen 也接受了真实世界中高质量、专业分镜实例训练,专为分镜设计而生,也与通用类图像生成模型拉开了距离。 同样,基于多智能体框架,将分镜的不同元素(场景、镜头、角色、动作等)分解为多个智能体来处理,大大增强了分镜制作过程中的可控性和一致性。

押注AI UGC 收获巨大红利

2023年4月,在2022年年报中昆仑万维提到:展望未来十年,将坚定“All in”AGI(通用人工智能)与AIGC。

而AI 短剧平台 SkyReels ,是昆仑万维 AI 应用层产品矩阵中的最新成员。 自2020年布局AIGC以来,昆仑万维在AGI与AIGC领域已有不少积累,已形成AI大模型、AI搜索、AI游戏、AI音乐、AI社交、AI视频多元AI业务矩阵,公司面向国内已率先推出搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用——天工AI智能助手。同时,面向海外推出《Club Koala》、Linky等多款AI产品。

正如业内所言,「生产内容的门槛每降低一倍,创作内容的人数就会增长十倍」,这预示着巨大的市场机遇。 因此,昆仑万维致力于打造一个以 IP 为核心的综合 UGC 平台,让所有使用 AI 进行创作的用户都能在其中完成 IP 的全闭环。他们深知,一个能够隐藏所有技术细节、实现端到端内容生成的工具,才真正具有商业价值,这也正是 SkyReels 等「一键生成」式产品的深层逻辑。

除了在上层打造 AI UGC 平台,在底层,昆仑万维还致力于开发通用大模型的底座。这源于一个简单又深刻的洞察:从技术角度来看,人类的智慧是以文本形式沉淀下来,所有的社交、游戏、音乐跟视频的专属模型,都离不开文本大模型的能力支撑。 AI的市场是全球化的,具体到海外的短剧赛道,也还是一片蓝海。海外短剧发展始于2022年8月ReelShort上线,后其他短剧APP陆续推出。2023年11月ReelShort登上美国iOS娱乐榜免费第1名,实现破圈。

国海证券研报认为,短剧出海市场空间保守估计约为360亿美元。团队采用短剧DAU*ARPPU测算海外短剧市场空间,得出的范围为144-648亿美元,中值为360亿美元。昆仑万维此时入局,推出一站式短剧视频创作平台SkyReels,将是全球短剧赛道的劲敌,其优势除了在大模型上的积累外,也具备十余年的娱乐产品经验和全球化视野。昆仑万维曾从0到1打造了多款千万级别DAU产品,以其目前在内容娱乐产品上的方法论积累和经验优势,将AI短剧产品在全球范围内落地推广是顺势而为。

高性价比GPU算力:

https://www.ucloud.cn/site/active/gpu.html?ytag=gpu_wenzhang_0820_toutiao

0 阅读:0

科技研习看今朝

简介:感谢大家的关注