MuseAI 是一款专为设计专业人士量身定制的先进 AI 绘图工具,旨在提供卓越的绘画体验,并为设计团队打造一个既稳定又易于管理的创作平台。本专题将汇总阿里大模型创作平台 MuseAI 相关技术研究和最佳实践。
本文主要分析了平台由于频繁切换 Diffusion Pipeline 引起的用户体验与资源浪费问题,并从网络传输、内存管理、Host-to-Device、模型量化等方面着手优化。
由于初版 rtp-LLM 是基于 nvidia 的开源库开发,在设计上和 cuda 硬件强耦合,无法摆脱对 nvidia gpu 的依赖,因而不能支持 cuda 以外的硬件设备,这样的框架显然难以支持未来更加丰富的硬件生态。而在硬件问题之外,随着业务复杂度的增长,越来越多的缺陷也被暴露出来。因此,我们本着以硬件接口为第一公民的思想,重构了 rtp-LLM 的模型推理逻辑。本文将从以下几个方面,结合源代码中的模块介绍 rtp-LLM 在计算部分的的设计思想。
本文以阿里真实使用场景出发,分享 MuseAI 多云部署架构实践。