写点什么
阿里大模型创作平台 MuseAI 技术研究和最佳实践

阿里大模型创作平台 MuseAI 技术研究和最佳实践

策划: Kitty

MuseAI 是一款专为设计专业人士量身定制的先进 AI 绘图工具,旨在提供卓越的绘画体验,并为设计团队打造一个既稳定又易于管理的创作平台。本专题将汇总阿里大模型创作平台 MuseAI 相关技术研究和最佳实践。

显卡在偷懒?阿里大模型创作平台 MuseAI 极速模型切换技术提升 AI 创作效率
显卡在偷懒?阿里大模型创作平台 MuseAI 极速模型切换技术提升 AI 创作效率

本文主要分析了平台由于频繁切换 Diffusion Pipeline 引起的用户体验与资源浪费问题,并从网络传输、内存管理、Host-to-Device、模型量化等方面着手优化。

为异构推理做好准备:次世代 RTP-LLM 推理引擎设计分享
为异构推理做好准备:次世代 RTP-LLM 推理引擎设计分享

由于初版 rtp-LLM 是基于 nvidia 的开源库开发,在设计上和 cuda 硬件强耦合,无法摆脱对 nvidia gpu 的依赖,因而不能支持 cuda 以外的硬件设备,这样的框架显然难以支持未来更加丰富的硬件生态。而在硬件问题之外,随着业务复杂度的增长,越来越多的缺陷也被暴露出来。因此,我们本着以硬件接口为第一公民的思想,重构了 rtp-LLM 的模型推理逻辑。本文将从以下几个方面,结合源代码中的模块介绍 rtp-LLM 在计算部分的的设计思想。

大模型多云部署怎么玩?阿里创作平台 MuseAI 集团内外落地指南
大模型多云部署怎么玩?阿里创作平台 MuseAI 集团内外落地指南

本文以阿里真实使用场景出发,分享 MuseAI 多云部署架构实践。

没有更多了
阿里大模型创作平台 MuseAI 技术研究和最佳实践_技术洞察_技术趋势_大厂实践_InfoQ精选专题