写点什么

35 亿 +66 亿参数双模型,消费级显卡上也能跑!Stability AI 发布重大升级,生成图像真假难辨

  • 2023-06-26
    北京
  • 本文字数:1878 字

    阅读完需:约 6 分钟

35 亿+66 亿参数双模型,消费级显卡上也能跑!Stability AI 发布重大升级,生成图像真假难辨

即使公众对创始人产生了诸多质疑,但不影响 Stability AI 在文本生成图像领域的持续推进。

 

日前,Stability AI 发布了 SDXL 0.9,这是其 Stable Diffusion 文本到图像模型的最新版本,代表 Stability AI 文本到图像模型套件迎来了新的发展里程碑。

 

继今年 4 月成功发布 Stable Diffusion XL beta 之后,SDXL 0.9 在图像和构图细节方面继续做出大幅突破。SDXL 0.9 是一款强大的工具,可用于在各种创意产业中创建高度逼真的图像。与之前的版本相比,此更新的模型对生成图像的质量和细节带来了重大改进。

SDXL 0.9 有哪些重大升级?

 

现在用户已可通过 ClipDrop 访问该模型,API 也将在不久后推出。研究人员正在努力完善 1.0 版本,相关成果包括权重设置预计将在七月中旬与大家见面。

 

SDXL 0.9 在继续保持通过现代消费级 GPU 运行的能力之外,在生成 AI 图像的创意用例方面也实现了飞跃。SDXL 能够为影视剧、音乐和教学视频生成超现实风格的创作结果,也具备在设计和工业用途中一展身手的水平。

 

示例:

在 SDXL beta(左)和 0.9 版本上以相同提示词进行测试,即可体现该模型在短短两个月内取得的重大进展。

 


提示词: 美学、外星人拉在拉斯维加斯的人群中,粗砺的胶片摄影


(左图 - SDXL Beta, 右图- SDXL 0.9)



提示词: 优胜美地国家公园的狼,冷冽的自然纪实胶片摄影

负提示: 3d 渲染、平滑、塑料、模糊、颗粒感、低分辨率、动漫、过饱和、奶油感

(左图 - SDXL Beta, 右图 - SDXL 0.9)

 

SDXL 系列还提供一系列超出基础文本提示的功能。其中包括图像到图像提示(输入一张图像,以获取该图像的更多变体)、填充(重建图像内的缺失部分)和外延(根据现有图像无缝向外扩展)。简单来说,它可以让用户更有创意,以更高级有趣的方式对图像进行更改。

SDXL 0.9 背后的力量

 

那么,SDXL 0.9 的底层技术到底是怎样的?

 

据 Stability AI 介绍,SDXL 0.9 之所以取得重大进展,核心驱动因素在于参数数量(模型训练时神经网络中所有权重和偏差的总和)较 Beta 版本有了显著增加。

 

SDXL 0.9 是目前所有开源图像模型中参数量最大的模型之一,基础模型拥有 35 亿参数,模型集成管线拥有 66 亿参数(最终输出由两套模型的运行聚合结果创建而成)。管线的第二阶段模型,专门用于向第一阶段模型生成的输出添加更多精巧细节

 

相比之下,之前的 beta 版权拥有 31 亿参数并使用单一模型。

 

SDXL 0.9 运行在两个 CLIP 模型之上,其中包括迄今为止训练的最大 OpenCLIP 模型之一 OpenCLIP ViT-G/14。它增强了 SDXL 0.9 的处理能力,使其能够创建出更具深度和 1024 x 1024 更高分辨率的逼真图像。

 

SDXL 团队将很快发布一篇研究博客,详细介绍该模型的规格和测试情况。

 

尽管具有强大的输出和更先进的模型架构,但 SDXL 0.9 仍能够在现代消费级 GPU 上运行。具体配置要求为:

 

  • Windows 10 或 11/Linux 操作系统;

  • 16 GB 内存、英伟达 GeForce RTX 20 系列显卡(或更高版本)且至少配备 8 GB 显存;

  • Linux 用户也可以使用配备 16 GB 显存的 AMD 兼容显卡。

测试版发布期间获得积极反响

 

Stability AI 因于 2022 年 8 月推出开源图像生成器 Stable Diffusion 而闻名,进一步加剧了其与 OpenAI 的 Dall-E 和 MidJourney 的竞争。

 

近日,Stability AI 刚被《时代》周刊评为 2023 年最具影响力的公司之一。其他出现在榜单上的人工智能公司还有 OpenAI(ChatGPT)、Hugging Face(协作开源人工智能平台)、Runway AI(生成视频)、Nvidia 和谷歌 DeepMind。

 

自 4 月 13 日 SDXL beta 版发布以来,Stability AI 在 Discord 社区上收到近 7000 名用户的热烈响应。用户们生成了超过 70 万张图像,平均每天超过 2 万张。超过 5.4 万张图像进入 Discord 社区的“Showdowns”评选,最终有 3521 张 SDXL 图像被评为优秀作品。

可用性和未来计划

SDXL 0.9 现已在 Clipdrop by Stability AI 平台上发布。Stability AI API 及 DreamStudio 客户端将于 6 月 26 日星期一开放该模型,同时提供 NightCafe 等其他领先的图像生成工具。

 

SDXL 0.9 目前暂时仅供研究学习目的使用,希望在全面发布前收集反馈并充分完善模型。相关代码后续将在 GitHub(https://github.com/Stability-AI/generative-models)上公开。

 

如果研究人员希望访问这些模型,请通过以下链接申请:SDXL-0.9-Base 模型(https://huggingface.co/stabilityai/stable-diffusion-xl-base-0.9)、SDXL-0.9-Refiner(https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-0.9)。

 

Stability AI 一再强调,目前 SDXL 0.9 仅用于研究学习目的。

 

SDXL 1.0 计划在今年七月中旬(时间选定)全面发布。SDXL 0.9 遵循非商用、仅供研究的许可证发布,并受相关使用条款的约束。

 

参考链接:

https://stability.ai/blog/sdxl-09-stable-diffusion

 

2023-06-26 14:073885
用户头像
李冬梅 加V:busulishang4668

发布了 1059 篇内容, 共 674.6 次阅读, 收获喜欢 1219 次。

关注

评论

发布
暂无评论
发现更多内容

2021年Java岗位BAT大厂面试题知识点小结,挥泪整理面经

Java 程序员 后端

月经逆行、体能差、雌激素影响心态……女性进入太空,要经历哪些科技伪命题?

脑极体

2021一位Java中级程序员的跳槽面经,最全的BAT大厂面试题整理

Java 程序员 后端

2021大厂Java社招最全面试题,2021年Java开发者常见面试题

Java 程序员 后端

2021Java高级面试题总结,kafka面试常见问题

Java 程序员 后端

2021Java高级面试题,极客时间vip年卡,看懂这些帮你轻松解决就业问题

Java 程序员 后端

2021大厂Java开发面试总结+解答,Java基础笔试题大全带答案

Java 程序员 后端

2020-2021京东Java面试真题解析,在线面试指南

Java 程序员 后端

2021Java开发学习路线,两年Java开发经验

Java 程序员 后端

2021Java开发现状分析,看完这一篇你就懂了

Java 程序员 后端

上云,能打破低代码“内卷”吗?

海比研究院

低代码

2021Java常见笔试题,牛客网java编程题送信,字节Java面试题

Java 程序员 后端

2021大厂Java面试经历,Java技术面试常见问题

Java 程序员 后端

2021Java常见面试题,牛客网中级项目异步队列,Java高级面试题及答案整理

Java 程序员 后端

2021年Java大厂面试分享,漫谈设计模式在Spring框架中的良好实践

Java 程序员 后端

2021大厂Java开发面试总结+解答,【一步教学,一步到位】

Java 程序员 后端

2021大厂Java面试真题集锦,京东健康Java面试

Java 程序员 后端

2021Java精选面试实战总结整理,讲的太透彻了

Java 程序员 后端

Activity重启引起的重复发送消息Bug分析

轻口味

android 10月月更

2021Java高级面试题汇总解答,Java开发新手入门教程

Java 程序员 后端

2021Java进阶者的新篇章,Java全栈知识体系

Java 程序员 后端

2021Java面试笔试总结,jdk使用教程,Java高级工程师必备知识

Java 程序员 后端

【AI 全栈 SOTA 综述 】这些你都不知道,怎么敢说会 AI?【语音识别原理 + 实战】

声网

AI 算法 音视频

2020-2021蚂蚁金服Java面试真题解析,2021最新Java面试真题解析

Java 程序员 后端

2021Java精选面试实战总结整理,架构师必备

Java 程序员 后端

2021Java网络编程总结篇,百度技术三面四面,最全Java知识总结

Java 程序员 后端

2021Java高级进阶学习资料,字节跳动Java高级工程师

Java 程序员 后端

2021Java开发面试解答,数据库mysql教程视频教程,90%的人看完都说好

Java 程序员 后端

实时即未来!Flink Forward Asia 2021 议程正式上线!

Apache Flink

大数据 flink

2021Java面试心得,shiro框架视频尚硅谷,最新Java开发进阶

Java 程序员 后端

2021Java者未来的出路在哪里,kafka从入门到精通

Java 程序员 后端

35 亿+66 亿参数双模型,消费级显卡上也能跑!Stability AI 发布重大升级,生成图像真假难辨_生成式 AI_李冬梅_InfoQ精选文章