QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

35 亿 +66 亿参数双模型,消费级显卡上也能跑!Stability AI 发布重大升级,生成图像真假难辨

  • 2023-06-26
    北京
  • 本文字数:1878 字

    阅读完需:约 6 分钟

35 亿+66 亿参数双模型,消费级显卡上也能跑!Stability AI 发布重大升级,生成图像真假难辨

即使公众对创始人产生了诸多质疑,但不影响 Stability AI 在文本生成图像领域的持续推进。

 

日前,Stability AI 发布了 SDXL 0.9,这是其 Stable Diffusion 文本到图像模型的最新版本,代表 Stability AI 文本到图像模型套件迎来了新的发展里程碑。

 

继今年 4 月成功发布 Stable Diffusion XL beta 之后,SDXL 0.9 在图像和构图细节方面继续做出大幅突破。SDXL 0.9 是一款强大的工具,可用于在各种创意产业中创建高度逼真的图像。与之前的版本相比,此更新的模型对生成图像的质量和细节带来了重大改进。

SDXL 0.9 有哪些重大升级?

 

现在用户已可通过 ClipDrop 访问该模型,API 也将在不久后推出。研究人员正在努力完善 1.0 版本,相关成果包括权重设置预计将在七月中旬与大家见面。

 

SDXL 0.9 在继续保持通过现代消费级 GPU 运行的能力之外,在生成 AI 图像的创意用例方面也实现了飞跃。SDXL 能够为影视剧、音乐和教学视频生成超现实风格的创作结果,也具备在设计和工业用途中一展身手的水平。

 

示例:

在 SDXL beta(左)和 0.9 版本上以相同提示词进行测试,即可体现该模型在短短两个月内取得的重大进展。

 


提示词: 美学、外星人拉在拉斯维加斯的人群中,粗砺的胶片摄影


(左图 - SDXL Beta, 右图- SDXL 0.9)



提示词: 优胜美地国家公园的狼,冷冽的自然纪实胶片摄影

负提示: 3d 渲染、平滑、塑料、模糊、颗粒感、低分辨率、动漫、过饱和、奶油感

(左图 - SDXL Beta, 右图 - SDXL 0.9)

 

SDXL 系列还提供一系列超出基础文本提示的功能。其中包括图像到图像提示(输入一张图像,以获取该图像的更多变体)、填充(重建图像内的缺失部分)和外延(根据现有图像无缝向外扩展)。简单来说,它可以让用户更有创意,以更高级有趣的方式对图像进行更改。

SDXL 0.9 背后的力量

 

那么,SDXL 0.9 的底层技术到底是怎样的?

 

据 Stability AI 介绍,SDXL 0.9 之所以取得重大进展,核心驱动因素在于参数数量(模型训练时神经网络中所有权重和偏差的总和)较 Beta 版本有了显著增加。

 

SDXL 0.9 是目前所有开源图像模型中参数量最大的模型之一,基础模型拥有 35 亿参数,模型集成管线拥有 66 亿参数(最终输出由两套模型的运行聚合结果创建而成)。管线的第二阶段模型,专门用于向第一阶段模型生成的输出添加更多精巧细节

 

相比之下,之前的 beta 版权拥有 31 亿参数并使用单一模型。

 

SDXL 0.9 运行在两个 CLIP 模型之上,其中包括迄今为止训练的最大 OpenCLIP 模型之一 OpenCLIP ViT-G/14。它增强了 SDXL 0.9 的处理能力,使其能够创建出更具深度和 1024 x 1024 更高分辨率的逼真图像。

 

SDXL 团队将很快发布一篇研究博客,详细介绍该模型的规格和测试情况。

 

尽管具有强大的输出和更先进的模型架构,但 SDXL 0.9 仍能够在现代消费级 GPU 上运行。具体配置要求为:

 

  • Windows 10 或 11/Linux 操作系统;

  • 16 GB 内存、英伟达 GeForce RTX 20 系列显卡(或更高版本)且至少配备 8 GB 显存;

  • Linux 用户也可以使用配备 16 GB 显存的 AMD 兼容显卡。

测试版发布期间获得积极反响

 

Stability AI 因于 2022 年 8 月推出开源图像生成器 Stable Diffusion 而闻名,进一步加剧了其与 OpenAI 的 Dall-E 和 MidJourney 的竞争。

 

近日,Stability AI 刚被《时代》周刊评为 2023 年最具影响力的公司之一。其他出现在榜单上的人工智能公司还有 OpenAI(ChatGPT)、Hugging Face(协作开源人工智能平台)、Runway AI(生成视频)、Nvidia 和谷歌 DeepMind。

 

自 4 月 13 日 SDXL beta 版发布以来,Stability AI 在 Discord 社区上收到近 7000 名用户的热烈响应。用户们生成了超过 70 万张图像,平均每天超过 2 万张。超过 5.4 万张图像进入 Discord 社区的“Showdowns”评选,最终有 3521 张 SDXL 图像被评为优秀作品。

可用性和未来计划

SDXL 0.9 现已在 Clipdrop by Stability AI 平台上发布。Stability AI API 及 DreamStudio 客户端将于 6 月 26 日星期一开放该模型,同时提供 NightCafe 等其他领先的图像生成工具。

 

SDXL 0.9 目前暂时仅供研究学习目的使用,希望在全面发布前收集反馈并充分完善模型。相关代码后续将在 GitHub(https://github.com/Stability-AI/generative-models)上公开。

 

如果研究人员希望访问这些模型,请通过以下链接申请:SDXL-0.9-Base 模型(https://huggingface.co/stabilityai/stable-diffusion-xl-base-0.9)、SDXL-0.9-Refiner(https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-0.9)。

 

Stability AI 一再强调,目前 SDXL 0.9 仅用于研究学习目的。

 

SDXL 1.0 计划在今年七月中旬(时间选定)全面发布。SDXL 0.9 遵循非商用、仅供研究的许可证发布,并受相关使用条款的约束。

 

参考链接:

https://stability.ai/blog/sdxl-09-stable-diffusion

 

2023-06-26 14:073856
用户头像
李冬梅 加V:busulishang4668

发布了 1045 篇内容, 共 658.4 次阅读, 收获喜欢 1209 次。

关注

评论

发布
暂无评论
发现更多内容

SpringCloud-02 Eureka学习笔记

游坦之

10月月更

最近美团前端面试题目整理

loveX001

JavaScript

8:单表查询-MySQL

Yeats_Liao

数据库 后端 10月月更

MobTech 修改已审核通过的秒验产品信息

MobTech袤博科技

开发者 sdk 秒验 手机验证码认证

令人头秃的js隐式转换面试题,你能做对吗

loveX001

JavaScript

SpringCloud-03 Netflix Ribbon学习笔记

游坦之

10月月更

基于OneNet平台设计的多节点温度采集系统-有人云4G模块+STM32

DS小龙哥

10月月更

动态组件、异步组件以及生命周期和v-model🔥

渔戈

前端 Vue3 10月月更

鸿蒙开发实例 | ArkUI JS飞机大战游戏开发

TiAmo

华为 鸿蒙 10月月更

Hash Map源码分析(八)

知识浅谈

hashmap 10月月更

4:数据操作-MySQL

Yeats_Liao

数据库 后端 10月月更

7:数据库设计思维-MySQL

Yeats_Liao

数据库 后端 10月月更

OKR之剑·理念篇04:让OKR轻松上阵

vivo互联网技术

团队管理 OKR

React源码分析8-状态更新的优先级机制

goClient1992

React

HarmonyOS 3首批正式版开始推送

极客天地

SAP CAP 项目 cds watch 生成的 index.html 的模板位置和权限控制

汪子熙

云原生 CAP Cloud SAP 10月月更

Redis数据结构(二)-List、Hash、Set及Sorted Set的结构实现

京东科技开发者

数据库 redis List 数据结构 hash

python爬取csdn个人首页信息以及博客

木偶

Python 爬虫 10月月更

6:列属性完整性-MySQL

Yeats_Liao

数据库 后端 10月月更

你真的了解过插槽Slot吗🔥

渔戈

前端 Vue3 10月月更

React源码分析7-state计算流程和优先级

goClient1992

React

5:数据类型-MySQL

Yeats_Liao

数据库 后端 10月月更

手写一个Redux,深入理解其原理-面试进阶

beifeng1996

React

前端react面试题(边面边更)

beifeng1996

React

你是如何使用React高阶组件的?

beifeng1996

React

非父子组件之间的通信方式与mitt库🔥

渔戈

前端 Vue3 10月月更

面试官:谈谈你知道的DOM常见的操作

CoderBin

JavaScript 面试 前端 DOM 10月月更

final、finally、 finalize 有什么不同?

共饮一杯无

Java final 10月月更

从这两道题重新理解,JS的this、作用域、闭包、对象

loveX001

JavaScript

ARM64架构下,OpenJDK的官方Docker镜像为何没有8版本?

程序员欣宸

Java Docker jdk 10月月更

【web 开发基础】PHP 的流程控制之双向条件分支结构 -PHP 快速入门 (13)

迷彩

10月月更 web开发基础 PHP基础 分支结构 双向条件分支结构

35 亿+66 亿参数双模型,消费级显卡上也能跑!Stability AI 发布重大升级,生成图像真假难辨_生成式 AI_李冬梅_InfoQ精选文章