HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

与 Sora 同架构的 Stable Diffusion 3.0 震撼发布!4 秒视频生成却翻车,网友:还是等 Sora 吧!

  • 2024-02-23
    北京
  • 本文字数:2232 字

    阅读完需:约 7 分钟

大小:1008.85K时长:05:44
与Sora同架构的Stable Diffusion 3.0 震撼发布!4 秒视频生成却翻车,网友:还是等 Sora 吧!

Stability AI 发布了 Stable Diffusion 3.0,这款图像生成 AI 模型再次刷新了人们的认知。

 

这款由 Stability AI 倾力打造的文本变图模型,可是迄今为止最强大的“黑科技”! 无论你想生成多主题的奇幻场景,还是高精度的风景写真,统统不在话下!

 

Stability AI 强调了该版本的几个亮点,其中首要的就是文字渲染能力,他们在其官网上一连给了三幅含有文字的图片,不仅文字清晰而且也没有任何拼写错误。

 


Stability AI 的首席执行官 Mostaque 也在 X(Twitter)上狂炫带有文字的图片:

 



Stable Diffusion 3.0 中改进的排版是 Stability AI 在新模型中构建的几个改进的结果。

 

Stability AI 的首席执行官 Mostaque 说:“这归功于 Transformer 架构和额外的文本编码器。现在可以实现完整的句子和一致的风格。”

 

另一个亮点是“多主题生成”:用一句话,就能描绘出用户脑中的万千世界!

 

Stability AI 举了一些例子,让 SD3 根据一句含有多个元素的 Prompt 画一幅画:

 

“一幅画作,描绘了一位宇航员骑着一头穿着芭蕾舞裙的猪,手里还撑着一把粉色雨伞。在猪旁边,一只戴着高顶礼帽的知更鸟静静伫立。画面一角,写着‘Stable Diffusion’。”

 


“一张照片,画面中有一个红色的球体放在一个蓝色的立方体上面。它们的后面有一个绿色的三角形,右边有一只狗,左边有一只猫。”

 


其中一个主题元素变化还能不影响其他元素:

 

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    还有一个亮点就是“超高画质”,这简直是细节控的福音,每一张图片都堪称艺术品!例如下面这张变色龙特写照片:

     


    而且生成的漫画和素描,质感也比之前的版本进步了一个台阶:

     



    虽然 Stable Diffusion 3.0 最初被展示为文本转图像生成 AI 技术,但它将成为更广泛应用的基础。Stability AI 近几个月也在开发 3D 图像生成和视频生成功能。

     

    Mostaque 说:“我们制作可以随时随地使用并适应任何需求的开放模型。这是一个跨尺寸的模型系列,将支持我们下一代视觉模型的发展,包括视频、3D 等。”

     

    Mostaque 也在 X(Twitter)给出了一个 SD3D 的视频:

     


    而且,Stable Video 也正式开放公测了,支持图生视频和文生视频。尽管人们都在关注 Sora,但有人估计至少 Sora 还需要三个月才能开始内测。需要强调的是,这是内测,不同于像 Stable Video 这样的公开测试。

     

    从官网放出的例子来看,生成视频在画面稳定性、运动幅度、画面细节丢失上,效果跟 Sora 不相上下。

     



    而一些试玩了 Stable Video 的网友,还是觉得跟 Sora 有所差距,并对此评论:“越来越期待 Sora 了”。该网友表示,“用自己的照片试用了一下 Stable Video,发现只有没有脸的图才能有比较好的生成结果,有脸的都崩了。”其他网友补充称,有脸的图调低 motion 值也可以得到相对正常的结果,但会很卡顿。

     

    架构变革:采用类似 Sora 模型架构

     

    在过去的一年中,Stability AI 一直在稳步迭代和发布多个图像模型,每个模型都显示出越来越高的复杂性和质量。7 月份发布的 SDXL 大幅改进了 Stable Diffusion 基础模型,现在该公司正寻求更进一步的发展。

     

    新的 Stable Diffusion 3.0 模型旨在提供改进的图像质量和更好的性能,以从多主题提示生成图像。它还将提供比以前的 Stable Diffusion 模型更出色的排版,从而在生成的图像中实现更准确和一致的拼写。过去,排版一直是 Stable Diffusion 的一个弱点,包括 DALL-E 3、Ideogram 和 Midjourney 在最近的版本中也一直在努力解决这个问题。Stability AI 正在构建各种模型大小的 Stable Diffusion 3.0,模型可选择的参数范围在 800M 到 8B 。

     

    Stable Diffusion 3.0 不仅仅是 Stability AI 已经发布的模型的新版本,它实际上基于一种全新的架构。

     

    Emad Mostaque 表示,Stable Diffusion 3 是原始 Stable Diffusion 的正统续作。它采用了类似于 OpenAI 近期发布的 Sora 模型的 Diffusion Transformer 新架构,代表了该领域的最新技术突破。

     

    “Diffusion Transformer”技术在 2022 年首次提出,并在 2023 年进行了改进,现在已经实现了可扩展性。 此外,Stable Diffusion 3.0 还采用了“流匹配”技术,这也是另一项改进质量且不会增加太多额外负担的新技术。

     

    Stability AI 一直在尝试多种图像生成方法。本月早些时候,该公司发布了 Stable Cascade 的预览版,它使用 Würstchen 架构来提高性能和准确性。Stable Diffusion 3.0 采取了不同的方法,使用了 Diffusion Transformer。

     

    Mostaque 强调说:“Stable Diffusion 以前没有 Transformer。”

     

    Transformer 是许多生成 AI 革命的基础,被广泛用作文本生成模型的基础。图像生成主要在 Diffusion 模型领域。详细介绍 Diffusion Transformer (DiT) 的研究论文解释说,它是一种新的 Diffusion 模型架构,它用操作潜在图像块的 Transformer 取代了常用的 U-Net 主干。DiT 方法可以更有效地利用计算资源,并且可以超越其他形式的 Diffusion 图像生成。

     

    Stable Diffusion 的另一个重大创新是流匹配 (flow matching)。 流匹配的研究论文解释了它是一种训练 Continuous Normalizing Flows (CNFs) 以模拟复杂数据分布的新方法。根据研究人员的说法,使用 Conditional Flow Matching (CFM) 和 optimal transport paths(最佳传输路径),与 diffusion paths 相比,可以实现更快的 training、更有效的采样和更好的性能。

     

    参考链接:

    https://venturebeat.com/ai/stable-diffusion-3-0-debuts-new-diffusion-transformation-architecture-to-reinvent-text-to-image-gen-ai/

    https://twitter.com/EMostaque

    https://stability.ai/news/stable-diffusion-3

     

    2024-02-23 13:356515

    评论

    发布
    暂无评论

    软件测试 | 测试开发 | 利用 pytest 玩转数据驱动测试框架

    测吧(北京)科技有限公司

    pytest

    软件测试 | 测试开发 | MockServer 服务框架设计

    测吧(北京)科技有限公司

    软件测试

    开源一夏 |为什么BigDecimal比较大小一定要用compareTo

    六月的雨在InfoQ

    开源 equals BigDecimal 8月月更 compareTo

    基于 LowCodeEngine 的调试能力建设与实践

    阿里巴巴终端技术

    前端 低代码

    何止一个惨字形容,水滴Java面试一轮游,壮烈了,问啥啥不会,数据库血崩,我该怎么办?

    钟奕礼

    Java 编程 程序员 后端 java面试

    云监控是什么意思?哪个软件好?

    行云管家

    云计算 云平台 云监控

    微服务日志监控的挑战及应对方案

    穿过生命散发芬芳

    日志监控 8月月更

    Spring源码分析(六)FactoryBean 接口解析

    石臻臻的杂货铺

    spring 源码 8月月更

    全球首创!网易伏羲提出135种人脸表情划分标准,荣登IEEE官网

    网易伏羲

    人工智能 IEEE 网易伏羲

    软件测试 | 测试开发 | RPC接口测试技术-Tcp 协议的接口测试

    测吧(北京)科技有限公司

    TCP/IP

    APP上架因收集个人信息问题被拒绝该怎么解决?

    YonBuilder低代码开发平台

    程序员 技术 App 信息安全

    长安链p2p-Liquid学习笔记

    长安链

    华为大数据开发平台 DataFactory 行业应用典型案例

    宇宙之一粟

    华为云 大数据技术 8月月更

    数字藏品系统开发:(开发NFT数字藏品源码)

    开源直播系统源码

    NFT 数字藏品 数字藏品系统

    阿里P8架构师汇总了史上101个最牛逼的Java技术点

    钟奕礼

    Java 编程 程序员 架构 java面试

    软件测试 | 测试开发 | APK 逆向工程 - 解析 apk 基本信息和方法调用图

    测吧(北京)科技有限公司

    软件测试 测试 APK

    Java:将Excel转换为XPS

    Geek_249eec

    Java Excel XPS

    表弟面试阿里又挂了,我强烈推荐程序员必备阿里面试的300+面试题(含答案解析)给他后,苦肝两月,成功上岸蚂蚁金服

    钟奕礼

    Java 编程 程序员 java面试 技术宅

    授人为师,首期明道云零代码教练员研修班圆满结束

    明道云

    MASA Stack 第四期社区例会

    MASA技术团队

    .net 云原生 dapr blazor MASA

    软件测试 | 测试开发 | 文未有福利 | 接口自动化你不懂?听HttpRunner的作者怎么说

    测吧(北京)科技有限公司

    HttpRunner

    企业应用现代化实用教程 | 微服务架构怎么选?Dubbo、Spring Cloud、Istio终极对决

    York

    微服务 云原生 Spring Cloud istio Service Mesh (ASM)

    面试 | 百度测试开发岗位面试题目回顾

    测吧(北京)科技有限公司

    面试‘

    MobTech 短信验证Android端 API

    MobTech袤博科技

    android

    JDK1.6中String类的坑,快让我裂开了…

    华为云开发者联盟

    开发

    佛山等保测评机构有哪些?怎么做?

    行云管家

    等保 等级测评 佛山

    Spring源码解析(五)Spring 加载bean 依赖注入

    石臻臻的杂货铺

    spring 源码 8月月更

    阿里P8大牛手写《亿级流量并发手册》GitHub下载榜飙升至第一

    退休的汤姆

    Java 程序员 面试 社招 秋招

    leetcode 409 Longest Palindrome 最长回文串(简单)

    okokabcd

    LeetCode 算法与数据结构

    华为初面+综合面试(Java技术面)附上面试题

    钟奕礼

    Java 编程 程序员 java面试 后端架构

    软件测试 | 测试开发 | 专项测试技术初识Hook

    测吧(北京)科技有限公司

    软件测试 hook

    与Sora同架构的Stable Diffusion 3.0 震撼发布!4 秒视频生成却翻车,网友:还是等 Sora 吧!_生成式 AI_Tina_InfoQ精选文章