Stability官宣第三代AI图像生成模型——Stablediffusion3

开心盖土 2024-03-27 07:06:50

才发布新模型Cascade不久的Stablity昨天官宣了第三代开源绘画模型Stable diffusion 3,目前是开源图像生成 AI 模型的最新且最强大的版本,这样巩固了Stablity在开源图像生成 AI 界的一哥地位。目前发布的只有部分例图,连技术文档都没公布,这是Sora开的好头,大家现在都学会先炒作了。

SD3 使用更新的“diffusion transformer扩散转换器”,该技术于 2022 年首创,但于 2023 年进行了修订,现已达到可扩展性。它还采用了“flow matching流匹配”,这是另一种新技术,同样可以在不增加太多开销的情况下提高质量。Sora也遵循类似的原理(其论文的合著者 Will Peebles 随后共同领导了 Sora 项目)。

Prompt: a grandma wearing a "Go big or go home sweatshirt"

SD3 系列模型的参数大小从8 亿个参数(小于常用的SD 1.5)到 80 亿个参数(大于SD XL)。不同尺寸范围的模型适配在不同设备上运行(取决于显卡的显存大小),参数大小大致对应于模型可以生成多少细节的能力。

自 2022年以来,我们看到 Stability 推出了一系列 AI 图像生成模型:Stable Diffusion 1.4、1.5、2.0、2.1 、 SDXL 、 SDXL Turbo、Cascade,现在是SD3。不同于Midjourney和OpenAI 的 DALL-E 3 这样的专有图像合成模型,Stability 因开源而闻名。Stability在官网中宣称“我们相信安全、负责任的人工智能实践,已经并将继续采取合理措施,防止不良行为者滥用SD3”。这意味这SD3跟SDXL一样禁止了NSFW,当然开源工作者对模型的微调就是另一码事了。

一张红色球体位于蓝色立方体之上的照片。后面是一个绿色三角形,右边是一只狗,左边是一只猫

木桌上放着三个透明玻璃瓶,左边的是红色液体,数字是1,中间的是蓝色液体,数字是2,右边的是绿色液体和数字3

动漫风格的插图,画的是小草山顶上的一个报刊亭,在报刊亭的顶部,看到 "它来了!"文字,背景是一场大雨即将来临

SD3在多主题提示、图像质量和拼写能力方面的性能大大提高。从示例图和对比图可以看出,控制力大大加强了,生成图像对提示词的理解已经非常精准。

SD3 vs Midjourney

SD3 vs DALLE3

SD3 vs ImageFX

SD3 vs SDXL

Stable Diffusion 的CEO Emad Mostaque在X上得意的发了这张图和这个视频。

我把MJ(Midjourney)和D3(DALLE3)当饭吃了

After you get great base models like #SD3 what comes next?Control, composition, collaboration..More soon..在获得像#SD3这样的优秀基础模型之后,接下来会发生什么?控制、组合、协作..很快还有更多.. @Emad Mostaque

他提到SD3能够进行多模式理解,并以其为基础进行精准的视频输入和生成,当然这些功能仍然是理论上的,但对于开源工作者是个充满希望的好消息。

官网https://stability.ai/news/stable-diffusion-3

白名单报名https://stability.ai/stablediffusion3

0 阅读:0

开心盖土

简介:感谢大家的关注