8 月 28 日,华为云中国行 2018 走进天府之国成都。在活动现场,华为云一连发布两款创新产品,让华为云全栈服务能力再上一级台阶。据华为 EBG 中国区行业云拓展部部长胡维琦介绍,两款新品分别是国内首家 Istio 服务网格产品和全球首家 GPU 共享型高性能 AI 容器。在会后,记者采访了这两款新品的技术专家,请专家更为详细地介绍了产品的相关性能,以及对用户的价值。
GPU 共享型高性能 AI 容器: 让 AI 用得起,用得好,用的放心
记者还记得,在 2017 年 11 月,华为云发布了裸金属容器服务,集成了稳定性、灵活性、安全性、高性能多重优势。而此次发布的 GPU 共享型高性能 AI 容器,则是叠加在裸金属服务器之上,增加了一些专门针对 AI 领域的技术,性能更高,算力更强。
华为容器技术专家告诉记者,之所以会研发推出 GPU 共享 AI 容器,最重要的出发点就是考虑到最大程度满足用户需求。众所周知,GPU 成本昂贵,一般的企业如果想用 AI 技术去做人工智能应用,成本无疑是拦路虎之一。而华为云推出 GPU 共享 AI 容器,就能够大幅度降低 AI 计算的成本,同时提升性能。
华为容器技术专家举了一个例子:
深度学习的模型训练非常耗 GPU 资源,如果 GPU 性能没有充分发挥,那训练效率是非常低的,可能花很长时间才能训练出一个模型。而如果使用 AI 容器,采用 NUMA 架构,加上高速的 100GB 的 IB 网卡,再配合高性能 GPU,就可以获得一个非常高的 AI 计算性能。“我们的口号就是能够让大家都能用得起,用得好,也用的放心。”
记者采访得知,GPU 共享型高性能 AI 容器的主要受众群体就是做人工智能的企业,满足他们在人工智能方面的开发需求,并提供一些典型的应用,例如深度学习训练、深度学习推理、图像人脸识别、文字识别等。记者了解到,这款新品在市场上其实已经有了一些实践,在城市安防领域、智能交通领域都大有用武之地。
说易行难,GPU 优化的门道原来这么多!
目前市场上常见的模式是,用户把 GPU 挂载到某一个容器上,成为它的一个资源,然后就可以使用了。但在 AI 场景中,尤其是推理计算,并不需要用到整块或多块 CPU,只需要使用其中一部分,因此华为做了两点优化工作:一是把同一块 GPU 挂给不同容器,并且与容器自身的 CPU、Mem、网络做配合;另一点是在调度方面做修改,通过 K8S 做资源的共享控制。如此一来,就能够实现一块 GPU 共享给多个容器。
“这个产品还是有一定技术门槛的,最关键的技术难度就在于对 K8S 的调度以及对 OS 内核的改动。” 华为容器技术专家表示,首先需要精通 K8S 的调度引擎,才能对调度引擎进行修改和优化,其次还需要对 OS 操作系统层面有非常深入的积累。总体而言,需要对 K8S 调度机制、操作系统、GPU 驱动以及裸金属 NUMA 架构、IB 网卡等技术有一个综合的理解和积累,并将其融合起来。“华为在这两块是有长期的深厚积累,而且华为的优势在于技术的全面性,能够将上述技术整合在一起,提供一个端到端的容器全栈解决方案。”
Istio 服务网格:因客户需求催生,共同走向成熟
本次华为发布另外一个新品是 Istio 服务网格产品,这款产品可以与 CCE 容器引擎深度整合,提供非侵入、智能流量治理的应用全生命周期管理方案,增强了华为云容器服务全栈能力。
服务网络(Service Mesh)在美国已有两年左右的发展时间,而在国内则是从 2017 年下半年才开始被关注,的确是一个比较新的热点,可能会有人质疑国内 Service Mesh 新产品的成熟度。对此华为容器技术专家表示,华为之所以会快速推出这个产品,主要是因为华为云的容器客户在把应用大规模搬迁到容器上时会遇到了一些问题,例如如何做应用运行时的治理,包括限流、流控等,如何保障业务不被外部流量冲垮,而这些问题通过 Istio 服务网格可以得到非常好的解决。
“Istio 服务网格最核心的理念是它完全基于业务属性,能够让容器上的业务更稳定。” 华为容器技术专家表示,华为云的很多客户已经在尝试使用 Istio,自己也已经在安装 Istio,而客户经常会因为 Istio 的问题来询问华为云,因此华为干脆就推出了 Istio 服务,更好地服务用户。“我相信随着应用的扩大和深入,华为云会和客户一起催动 Istio 慢慢成熟。”
华为 Istio 不仅好用,而且安全
在华为容器技术专家看来,Istio 服务的优势是十分明显的,首先它对应用的代码是无侵入式的,不需要修改代码,使用起来很方便;其次它能够实现应用服务之间的流量治理限流,治理功能比较全面;最后,它与 K8S 的整合性比较好,能够提供端到端的灰度发布流程。
对于华为云 Istio 而言,华为云力求做到让客户直接启用,不再需要繁琐的安装部署、监控运维。当谈及 Istio 安全性时,华为容器技术专家认为,安全性的确是需要重点考虑的因素,目前 Istio 也在着力解决,华为会持续深入研究这个领域的技术并落地到产品中。
目前 Istio 与华为云上的容器全栈服务,包括 CCE 云容器引擎、CCI 云容器实例,同时也与 APM 应用性能管理、AOM 运维管理服务都可以无缝整合。
Istio 服务网格和 AI 容器现已在华为云开放公测,公测期间用户可以直接在 CCE 里启用 Istio,享受一站式体验。
本文转载自 华为云产品与解决方案 公众号。
原文链接:https://mp.weixin.qq.com/s/sau7IwejQbIGc831huRBXw
评论