报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

解析 UCloud 人工智能与英特尔背后的技术故事(上)

  • 2019-11-13
  • 本文字数:2751 字

    阅读完需:约 9 分钟

解析UCloud人工智能与英特尔背后的技术故事(上)

“企业要构建自己的 AI 在线服务系统并非易事,无论是 IT 基础设施的建设还是 AI 框架的部署,都需要耗费大量人力、物力。如果在 IT 系统、AI 框架上选择失误,则会前功尽弃,这给 AI 项目的发展和普及制造了很高的门槛。我们的目标是帮助用户像使用云主机、云存储这些成熟的云产品一样使用 AI 在线服务。通过充分利用英特尔®至强®处理器 E5 产品家族的高可扩展性及英特尔®AVX,我们的 UAI-Service 正逐渐走近这一目标。”

——UCloud 创新产品线总监 叶理灯


在人工智能(Artificial Intelligence,AI)如火如荼的今天,很多初创企业和传统企业都选择以 AI 为契机开拓市场,但同时也面临着缺乏高效部署 AI 能力的难题。为此,UCloud 基于英特尔®至强®服务器平台,充分发掘和利用英特尔®高级矢量扩展(英特尔®AVX)指令集相关处理单元的潜能,推出了 UCloud AI 在线服务(UCloud AI online Service,UAI-Service*),其具备的大规模分布式计算平台可以满足企业在图像识别、自然语言处理等多个 AI 领域的在线服务应用需求。

面临挑战

企业的 AI 之路并非坦途大道:无论是初创企业踏上 AI 创新之旅,还是传统企业希冀借助 AI 之力调转航向,实现转型或升级,AI 系统的设计、部署和运维都需要巨大、多维度的投入且困难重重,在决策选型过程中稍有不慎,都会带来巨大的沉没成本,令许多企业望而生畏。


AI 的高成本正侵蚀企业的总拥有成本(Total Cost of Ownership, TCO ):AI 能力提升的背后,可能会给企业带来巨大的成本开支,如何在性能和成本之间达到平衡?这一问题让许多企业决策者感到苦恼。

解决方案

UCloud UAI-Service:面向初创企业、传统企业 AI 转型而生的 UCloud UAI-Service,旨在提供易部署、易运维、更安全以及多 AI 框架支持的 AI 在线服务节点,可助力企业完成 AI 模型部署这一关键环节,并在图像识别、机器学习等多个 AI 领域满足企业用户的需求。


英特尔®至强®处理器 E5 产品家族及英特尔®AVX:通过与英特尔的紧密技术合作,UAI-Service 一方面巧妙地利用云主机中英特尔®至强®处理器 E5 产品家族的空闲处理能力,将其英特尔®AVX 能力用于支持和加速 AI 在线服务;另一方面,利用该处理器产品家族强大的可扩展性进行弹性部署,用低成本获得高性能,降低用户的 TCO。

成果

真正推动 AI 技术的普及,助其持续发展:UCloud 推出的 UAI-Service 将身处技术“深闺”中的 AI 技术和应用进一步平民化、实体化。通过 PaaS 的方式,让更多有志于在 AI 领域开拓进取的企业能够获取出色的 AI 部署能力,进而让整个 AI 产业实现“小步快跑”的前进节奏。


更有效利用空闲计算资源、节约用户成本支出:UAI-Service 创新地利用英特尔®至强®处理器 E5 产品家族的空闲处理能力,是对空闲计算资源再利用的有效尝试,其成功实践令成千上万的数据中心处理器的空闲能力得以充分利用。这既降低了企业用户的 TCO,也达到了环保节能的效果。


横空出世的 AlphaGo,让 AI 成为近两年来人们持续关注的热点。而 AI 也正在走出象牙塔,走近普通企业和大众,并开始在经济和民生层面扮演起越来越重要的角色。从机器学习、模式识别到自动驾驶、机器视觉,不但众多初创企业将 AI 研发作为扬帆起航的契机,许多传统企业也将其作为自身转型升级所必备的利器。


但 AI 系统的建设并非易事,企业 AI 系统的建设可分为“数据收集”、“模型训练”及“模型部署”三个步骤,每个步骤都会带来复杂的 IT 系统建设及运维工作。随着各类大数据、云计算技术方案的日趋成熟,“数据收集”和“模型训练”的工作正逐渐转移到云上,形成了成熟的云化方案,而 AI 模型部署的云化还存在许多问题:一方面,多种多样的 AI 框架需要企业制订和执行不同的部署策略,难免因此产生高昂的运营成本;另一方面,主要用于模型训练的 GPU 平台在模型部署中不仅部署成本较高,而且在扩展性上的表现也不够理想。


UCloud 推动的 UAI-Service,就是针对上述 AI 模型部署难题而生的创新方案。UCloud 的工程师们创造性地利用了虚拟云主机上英特尔®至强®处理器 E5 产品家族的空闲计算资源,借助英特尔®AVX 的能力,来提供专注于 AI 模型部署的 AI 在线服务。英特尔®至强®处理器强大的可扩展性也帮助 UAI-Service 获得了快速便捷部署的能力,并显著降低了企业运行 AI 在线服务的成本支出。

让使用 AI 服务像使用云主机一样便捷

“简单来讲,AI 的三部曲可以分为大数据收集,AI 模型训练和 AI 在线服务。”UCloud 创新产品线总监叶理灯这样描述企业 AI 系统建设,“此前,针对前两步,UCloud 都已经为用户提供了成熟的云主机、云存储、云网络等解决方案。”



但三部曲的最后乐章,却还面临诸多问题。一方面,企业用户在基于 AI 进行业务创新时,常常面临众多的业务流程,如何将不同的业务流程与 AI 在线服务一一映射,这对 AI 在线服务的部署、可管理性及可扩展性提出了巨大的挑战;另一方面,面对众多的 AI 框架,企业运维人员总有无从着手的烦恼,因为他们需要为各个框架开发和配置不同的接口,工作量巨大。为解决 AI 系统建设这“最后一公里”的问题,UCloud 提供了 UAI-Service,它能基于大规模分布式计算平台为用户提供 AI 在线服务。


在实际任务部署中,UAI-Service 为用户提供了“两步走”的部署模式。首先,向用户提供 SDK 工具包,内含接口代码框架、代码和数据打包模板以及第三方依赖库描述模板。用户只需根据 SDK 工具包内的代码框架编写接口代码,准备好相关代码和 AI 模型以及第三方库列表,就可以通过打包工具一键完成任务的在线部署。


任务打包完毕后,用户可以通过 UAI-Service 分布式的 AI 在线服务 PaaS 平台进行后续管理和维护。该平台可以同时管理上千个计算节点,每个计算节点都是同构节点,具有相等的计算能力,并拥有自动请求负载均衡、自动资源管理的功能。用户只需要将业务部署在平台上,就无须操心其后续的运维。



“UAI-Service 给用户带来的最大优势,就是省去了部署 AI 在线服务时的大量繁琐工作,让用户可以将宝贵的资源聚焦在自身的业务上。”在 UCloud 叶理灯看来,如果每一个企业用户在部署自己的 AI 服务时,都需要通盘考虑容灾、安全性、资源调度或者负载均衡,那么企业在人力资源和成本上的支出将是沉重不堪的。


UAI-Service 将这些工作都内化为 SDK 包和 PaaS 平台服务,用户只需要像使用云主机或者云存储服务那样,轻松将所需的功能或服务配置在一起就可以使用,而且 UAI-Service 还可以自动将分布式部署的四大要素——负载均衡、自动扩容、分布式容灾以及海量计算资源进行有效配置。


在下一篇中,我们将继续介绍 UAI-Service 平台的另一优势,以及 UAI-Service 如何借力英特尔技术以发挥其更强的 AI 能力等方面的技术解读。


本文转载自公众号 UCloud 技术(ID:ucloud_tech)。


原文链接:


https://mp.weixin.qq.com/s/PCtKJ7zarFDIpjvDQ024Sg


2019-11-13 09:52769

评论

发布
暂无评论
发现更多内容

熊磊:成功移植OpenHarmony到多套开发板,是最开心的事

OpenHarmony开发者

开发板 OpenHarmony

战“码”先锋直播预告丨如何成为一名优秀的OpenHamrony贡献者?

OpenHarmony开发者

OpenHarmony 贡献代码

AIRIOT物联网低代码平台如何配置三菱PLC驱动?

AIRIOT

物联网 PLC 驱动配置

互联网出海企业数据库选型问答实录

OceanBase 数据库

云数据库 oceanbase 互联网出海

爱番番微前端框架落地实践

百度Geek说

前端

Linux下玩转nginx系列(五)---nginx实现负载均衡

anyRTC开发者

nginx Linux 负载均衡 音视频

对话ACE第三期有奖调研

OceanBase 数据库

数据库 对话ACE Oracle ACE

Hoo研究院 | 币圈后浪—PRISM

区块链前沿News

Hoo

密码学系列之:PKI的证书格式表示X.509

程序那些事

Java 密码学 程序那些事 5月月更

解锁户外降温黑科技,图拉斯新品发布会完美收官

极客天地

马斯克推崇的柏拉图式元宇宙,PlatoFarm早已验证出答案

股市老人

【云计算】云计算四个必学知识看这里!

行云管家

云计算 云服务 企业上云

Redis io多线程

C++后台开发

redis 后端开发 Linux服务器开发 C++后台开发 单线程

Jmeter高手进阶-脚本增强

伤心的辣条

Python 程序人生 软件测试 IT 自动化测试

百问百答第38期:关于nginx监控,我们这样做

博睿数据

博睿数据 nginx监控

javascript 中搜索数组的四种方法

CRMEB

2022年5月中国数据库排行榜:openGauss 黑马首登顶,AntDB 冲进20强

墨天轮

数据库 opengauss TiDB oceanbase 神通

前端常用的站点导航

刘帅强

OpenHarmony 3.1 Release版本关键特性解析——Enhanced SWAP内存管理

OpenHarmony开发者

内存管理 OpenHarmony

总结

Geek_36cc7c

有数BI大规模报告稳定性保障实践

网易数帆

大数据 BI 网易 稳定性保障

银行RPA趋向主动触发流程,补足营销场景执行末端的渠道协同能力

易观分析

银行 市场营销

前端工程化之FaaS SSR方案​

百度Geek说

前端

CRM系统帮助企业有影响力的营销

低代码小观

CRM 客户关系管理 企业管理系统 CRM系统 客户关系管理系统

金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化

白鲸开源

Apache 大数据 开源 DolphinScheduler workflow

druid 源码阅读(八)Druid 回收连接

爱晒太阳的大白

5月月更

堡垒机4a认证是什么意思?是指哪4a?

行云管家

云计算 网络安全 堡垒机 堡垒机认证

龙蜥开发者说:我的操作系统之路,坚持从实践中来,到实践中去 | 第6期

OpenAnolis小助手

Linux 开源 操作系统 龙蜥社区 龙蜥开发者说

一图详解java-class类文件原理

华为云开发者联盟

Java JVM class 类文件

Nebula Graph|如何打造多版本文档中心

NebulaGraph

数据库 图数据库 NebulaGraph

钱卫宁:开源是培养数据库人才的关键|OceanBase 数据库大赛访谈

OceanBase 数据库

oceanbase 数据库大赛

解析UCloud人工智能与英特尔背后的技术故事(上)_文化 & 方法_UCloud技术_InfoQ精选文章