云原生容器的未来将何去何从？

近几年，容器的应用率不断提升。然而，当容器在不同的环境应用时，如何提升效率、管理、优化成本及如何拆解大规模部署带来的复杂度问题，才是当下开发者们一直在密切关注的。

于是在 8 月 17 日的华为云大咖说容器专场直播中，沙利文上海研究院院长丁卓文、华为云分布式云原生首席架构师张琦、美图高级技术总监王关胜，便聚焦容器技术现状，共同探讨了在分布式云、多云环境下容器部署的难点、解决方案及未来优化方向。

本期华为云大咖说线上分享会的主题为“容器新势能”，主持人为 InfoQ 主编赵钰莹，共分为专家分享与圆桌共话两大环节，以下为直播内容精编整理。

《云原生市场研究报告——容器》（2022）研报解读 

沙利文上海研究院院长丁卓文

容器的应用率不断攀升，给软件开发带来了革命性的变化。那么从技术采用生命周期的视角去看，容器技术是否已经趋近成熟？目前的发展现状、显性特点、技术挑战以及未来演进是怎样的呢？沙利文上海研究院院长丁卓文为大家解读了他们最近新发布的《2022 年云原生市场研究报告容器篇》：

从云原生和容器各自的发展历程看，容器技术是云原生的关键基础，两者的发展相辅相成。

容器降低了部署架构各环节的耦合程度，使应用不受环境限制地在不同计算环境间快速、可靠地运行，具有底层资源占用少、可移植性高、敏捷度高、弹性高的优势，是释放云原生价值的关键基础。

目前容器技术在隔离性、安全性方面还需进一步改进，这也是未来整个行业的发展重点。除此之外，API 统一、架构简化、轻量化、支持不同级别的资源隔离、支持异构环境和异构资源也是容器未来的发展趋势。

从需求端的视角来看，到目前为止，云原生的概念已逐步明晰，尤其是在华为云在业内首次提出了云原生 2.0 的理念之后，沙利文认为行业将步入新的发展阶段，云的真正价值将迎来更好地释放。进入云原生阶段，企业能够最大程度地利用云原生厂商提供的服务，提高资源的利用率和灵活度，充分的发挥云的价值，更高效、更专注地进行应用的开发和运维，推进业务的发展。

现阶段最为关键的需求场景是多云、混合云的部署，除此之外，容器还能够解决云边协同、统一部署和管理方面的挑战，以及实现离线业务和在线业务的混合部署等。容器的高弹性优势也在赋能企业实现资源的快速部署以及弹性伸缩方面得到了非常好的体现。

从供给端的视角出发，综合云服务厂商与专业云计算厂商两类厂商在合力推动云原生及容器行业的发展。其中，综合云服务厂商拥有的资源非常丰富，凭借自身公有云业务的一些优势能够加速容器的市场教育。而专业的云计算厂商专注于私有云方面的深耕，通过精细的定制化服务能够提高容器在私有云的一些渗透率。

如今各个厂商都在非常积极地拥抱开源生态，国内云原生开源生态逐渐壮大。报告中，沙利文从应用、产品和生态三个维度构建了云服务厂商容器的综合竞争力体系，评价主流厂商的竞争优势和壁垒，其中华为云的各项评分的表现都较为出色。

值得一提的是，华为云联合云原生技术基金会 CNCF、中国信通院一同成立了创原会，从标准、技术、实践等多个维度共同推动了云原生生态的完善，加速了云原生和行业、业务的融合，促进了产业发展。

《泛在新范式：分布式云原生 UCS》

华为云分布式云原生首席架构师张琦

云原生正在走向分布式，跨云跨地域统一协同治理，保证一致应用体验等新的需求日渐突出，这也需要容器技术发挥新的势能。华为云分布式云原生首席架构师张琦对此容器现状有这样的解读：

据 Gartner 预测，到 2025 年超过 50% 的组织将在其选择的地点使用分布式云，从而实现转型业务模式。另外一个趋势是，云原生的基础设施发展进入了高速通道，未来 4 年市场规模会呈现 5 倍增长。

分布式云把云计算能力延伸到不同位置，而云原生技术让用户的业务发展地更加敏捷，未来几年，这两个技术的结合将是主流。

从云原生的发展来看，（下图）时间轴的原点是在 2000 年，当时的基础设施还是以非虚拟化的硬件为主，2001 年出现了以 vmWare 为首的虚拟化技术。然后到 AWS、PaaS 的出现，我们可以看到三个发展趋势：

• 业务的部署单元越来越敏捷；

• 技术厂商们逐渐开源，发展“开源社区”以作为技术的领跑者；

• CNCF 社区逐渐成为云原生技术发展的主要推动组织。

从企业的视角来看其对分布式化业务的诉求，政府、金融、汽车这三个行业对分布式云、边缘、多云的诉求越来越强烈。

从公共云的角度出发，华为云构建了一个覆盖各个层次的分布式云的基础设施。华为云把不同的区域进行划分，从核心区域到业务现场，包括核心区域的大云、中心云是分成不同的 Region 的。从基础设施的角度来看，华为云是从上到下在多层次进行了不同层次，满足不同业务要求、业务类型的基础设施的覆盖。此外，华为云还构建了一朵分布式云，全部互通的网络，一致的运行环境，一致的管理体系。

另外，传统的云原生强调地更多是单数据中心的，甚至强调的是 Kuberentes 集群内的，是基于 Kuberentes 集群建立的上层生态，这个时候如果加入了分布式云，往往会存在以下问题：

• 云原生体验：分布式系统被设施割裂，分层管理，手动分发，缺乏全局管理视图；

• 算力：各基础设施算力独立供给，难以协同；

• 流量 ：与业务分离管理，难以与业务分布协同，难以按业务需求分配流量；

• 数据 ：应用与数据割裂，分层管理，阻碍应用的弹性伸缩、迁移等。

为了解决这些问题，华为云构建了 UCS 服务，从应用的角度对整个分布式云进行建模，从应用的角度向用户屏蔽掉分布式云所引入新的复杂性。从而达到：

• 新体验：全局统一，无处不在，随时可用；

• 应用+算力：随时、随地提供应用所需算力资源；

• 应用+流量：实时、跨域、按需调配应用访问流量；

• 应用+数据：全业务一体化迁移、容灾、弹性。

下面，我们对这个解决方案进行技术拆解，首先是保证分布式云中的生态一致性。Kuberentes 已经打了很好的基础，基于此，华为云以集中式的方式来管理各个云里面云原生的生态，实现云原生的服务能在中心“一次上架、全域发放”，能跨域部署，并且保证其运行环境、运行方式、运行行为都是一致的。

此外，为了让应用本身能够跨云调度，自动调度，华为云基于 UCS 结合 Karmad 开源服务，进行了一个工作负载的中心式管理。在这个过程中，实现了：

• 按权重部署：根据不同集群的权重设置自动计算和分发实例。

• 根据提供商和地域进行条件部署：通过集群 label 进行组合条件的设置，并根据条件的满足情况进行实例分发。

• 容器从故障集群中自动迁移：当集群发生故障时，位于该集群中的应用实例可自动迁移至正常集群中。

• 跨集群弹性伸缩：当需要对应用进行整体伸缩时，可根据不同集群的权重进行实例分配，实现用户优先在指定云上创建新资源的目的。

第三，业务的跨云协同，这个过程中实现了：

• 流量就近分发：用户接入流量就近发送至最合适的后端进行处理；

• 服务网关进行入云流量治理：服务网关部署于每个分布式云成员的流量入口处。接 收网格控制面的配置，提供跨 Region、 多云混合云、多种基础设施的服务后端实例上的流量管理。包括但不限于：基于权 重和内容的流量切分、灰度、故障倒换、 熔断限流等；

• 跨云跨集群的容器网络互通：通过统一的容器网络编排和服务发现能力，实现跨云跨集群扁平化互通能力，达到业务体验一致和通讯安全可靠的目标 ；

• 全局流量治理中心：集中式管理位于分布式云中各集群上的东西、南北向流量治理策略，实现全局服务流量治理。

除了以上网络方面的问题，实际上，数据是分布式云中面临的最大的难题，因为网络可以打通，应用可以跨地域的调度和部署，但现在大多企业级应用都不是简单的无状态的应用，都是有数据的，当应用实例跨数据中心迁移、弹性伸缩，数据该怎么去处理？华为云 UCS 解决了这个问题：

• 数据跟随应用流转：围绕云原生应用构建自动化的应用克隆、应用容灾和应用迁移能力，跨云数据随应用流转。

• 有状态应用跨云弹性：数据随应用同步复制，实现应用在分布式基础设施上的弹性扩容。

• 多层次数据联动：存储层、容器层、中间件层等不同层次数据复制能力随应用场景实时联动，支撑应用容灾、扩容、迁移。

华为云 UCS 的技术优势在慧通差旅公司的业务实践中得到了具体表现， 慧通差旅的主营业务是为大型企业提供差旅服务。该企业面临的一个问题是很难把所有的差旅数据全部迁移上云，另外该企业有自己的数据合规性要求，要求部分业务需要部署在本地机房中。华为云 UCS 提供了如下解决方案，完美地解决了该企业的问题：

• 使能大型企业级 SaaS 系统服务化交付：在复杂企业级 SaaS 系统的部署中，通过 UCS 支持其涉及企业核心数据资产的部分在自有机房而涉及互联网服务化的部分部署在公有云中，服务提供商可对整体分布式部署的业务系统进行统一的服务化交付和运维；

• 远程统一维护：通过 UCS 的统一管理能力，以互联网的快速 DevOps 交付模式，应对各类企业的多样化诉求，降低维护成本。运维成本由原来的 5 个人维护 10 个客户的运维提升为 5 个人可支撑 100 个客户的集中运维，实现人效 10 倍提升；

• 统一生态建设：通过 UCS 提供的云原生服务中心，构建丰富的企业应用生态，实现应用的统一分发和部署；

• 多云统一协同：通过跨云流量治理，协同异构业务架构，实现跨云远程，统一治理。

《美图公司大规模容器化部署最佳实践》

美图公司高级技术总监王关胜

分布式云是一个难题，“大规模”同样也是。任何技术只要规模起来了，总会出现各种各样的问题，美图曾历时三年完成了全面容器化，这期间踩过很多坑，总结了很多实战经验。作为华为云的合作伙伴，美图在容器技术领域有着十分深度的探索。美图公司高级技术总监王关胜带来了美图公司大规模容器化部署实践分享：

2019 年，美图公司 CEO 亲自参与上云决策，整个公司所有业务线都配合运维一起工作，当时华为云为了帮助美图完成上云迁移，也投入了比较大的精力。最终把全部业务搬到云上只用了 7 个月的时间，之后，完成云上容灾仅耗时 1.5 个月，完成成本再优化仅耗时 1 个月。回顾过去的上云其实对迁云速度、故障成本控制做的都很好，主要来源于两大助力：

1. 华为云的容器服务：CCE、CCI 等稳定的 Kuberentes 基础设施；

2. 美图 Matrix：

• 容器化：95% 以上的业务 已完成容器化；

• 工具平台：完善的 Matrix 平台，接入第三方 Kuberentes 的成本极低。

在美图公司上云之前，2017 年就自研了一套完整的基于 Kuberentes 的容器云平台—— Matrix，并实现了 95% 业务的容器化，这为美图公司的上云之旅提供了极大助力。目前 Matrix 便捷地接入了华为云第三方基础设施。

美图容器化平台 Matrix 的设计主要基于 CI、CD、CO 三者的莫比乌斯环，重点思考应用或服务在全生命周期中的行为关键点，结合应用部署的十二因子及 CNCF 中的开源组件完成平台构建。整个架构拓扑也是相对比较简单的，除了 Matrix UI 之外的组件基本都是从 CNCF 里面基于开源套件来做的。

CI 的工具主要用的是 Jenkins 和 Gitlab，至于镜像仓库美图早期用的是 HARBOR，而网络方案采用的是 CALICO。

除了这些开源套件外，美图的自研主要发力在上层系统—— Matrix UI 层面，美图对于 Matrix 的期待就是做一个“ALL In One”的平台，让 DEV 和 OBS 角色都能在这里面做他们自己关心的事情。

Matrix 主要有三大块功能，第一块是平台基础服务，比如说像集群管理、权限编排都是在这一块的。第二块是，平台附加服务，比如说弹性伸缩、计费、利用率和负载均衡，其中负载均衡目前美图已经朝 ServiceMesh 方向进行演进。第三块是平台中间件，包括服务治理，服务观测、日志等都做在了平台里，为的就是给开发者提供“一致的”体验。

其实美图做的事情也很简单，就是对部署模块做了增强，如弹性伸缩、负载均衡、弹性扩容等。像负载均衡、服务编排、集群管理，都是在开源组件上做的二次开发，它再对外提供 API，提供统一的入口体验。Matrix UI 的设计思路都是围绕着“提供一个非常强大的自助化能力"出发的。

当美图完成整个云上部署时，就形成了如下架构。美图跟云厂商之间各自负责各自不同的部分。这其中，像强大的 Kuberentes 能力都是华为云提供的，美图只负责上层集成和上层应用的事情，这种模式可以节省许多人力成本。

除此之外，美图在上云之后还发生了其他演变。最主要的是在负载均衡层面的演变。美图早期主要用的是 Nginx-Control，后来就把 Nginx-Control 全部改成了 Ingress-Control，然后最近美图正在关注 Service Mesh，从去年开始研究这个方向，Mesh 的方向非常多，但这对于美图来说改造难度并不小，但也都在努力寻求解决方案。美图在 Ingress 的控制面和数据面也有自己独有的探索，比如在控制面采用双主模式部署，确保同 Region 内不同 AZ 里的流量能够保持高可用。

美图上云后，华为云依旧提供了许多助力。比如说 CCI 服务由于少了 VM 这一层，弹性调度及服务启动的时间大大降低，华为云很好地帮助美图解决算法快速弹性扩容的能力。像美图 AI 开放平台的部分场景算法需要在云端处理，如果把这种资源池接入进来，可以非常便捷地做快速扩容，华为云 CCI 能力的接入也丰富了美图整体应用层面的调度。

当然，美图上云之后，因为有自动化的平台，以及应用部署评估可能不是很精确，也会造成云上成本增长，需要及时做成本控制，为了解决此问题，美图基于 FinOps 理念做了成本决策系统，现在已经可以清楚地看到公有云、第三方更精细化的成本等，现在成本可以通过不同的算法分摊到美图公司的利润中心，实现了精准的成本把控。

圆桌畅谈：云原生容器的未来将何去何从？

Q：目前的云原生容器技术已经进入商用拓展期，这是不是意味着，容器技术已经完全成熟？容器技术的下一个阶段在哪？

丁卓文：进入商用拓展期，更多地反映出来的是容器产品的商业形态以及整个市场的趋势的确定，产品在市场上的渗透率在明显提升，所以并不能说完全等同于容器技术成熟度的确认。从商用的角度来看，容器技术的下一个阶段应该是会在加强不同领域的应用能力，能够更好的服务企业包括用户的需求，比如说云边协同、多云混合等等。而在技术层面，演进的核心应该是能够怎么样达到安全又好用。

张琦：从技术的角度上来看，容器管理平台的发展是呈现两个方向的。一个方向是“把它做深”，越来越多的云厂商开始把容器技术跟我下层基础设施的一些技术做一些更深度的结合，比如说我可以把它做到硬件卡里做一些卸载，又比如说我可以做到跟底层数据中心网络的直通。当然了，在这个过程中，为传统的数据中心的基础设施也带来了非常大的挑战，比如容器弹性伸缩的速度、创建和销毁的速度实际上跟原来的虚机完全不是一个量级的，对数据中心底层的基础设施的建设带来了新的挑战。

另外一个发展方向是“把它做广”，容器技术或者容器云、容器平台这样的一些技术是越来越多的覆盖各种不同的行业，覆盖各种不同的场景的。比如说像我们前些年可能更多的看到的容器技术是用在企业级应用、互联网应用这样的数据中心里的，我们这些年看到了很多新兴的应用场景，像边缘，甚至我们把它放在车里面，放在高速公路的收费站上面，甚至把它放在卫星上面，这都是我们这几年做的一些探索，而且目前已经有大量创新型的场景落地，甚至实现了商用。

王关胜：我个人觉得目前容器技术到了一个普惠的阶段，在云原生领域投入的话我们总会有一些不错的回报。我们虽然是觉得像 Linux Namespace 和 CGroup 这种技术是比较成熟的，但是在落地的一些场景包括应用场景当中，也有一些不足的点。比如说资源隔离和安全性这一块，当然，这些也是我们一直在尝试解决的事情。

 Q：边缘计算被称为云原生的新边界，容器技术将发挥哪些新的势能？

丁卓文：目前容器技术在边缘计算上的应用主要是解决两个方面的问题，一个是云和边的统一运维，另一是提高边端的资源利用率。首先云边协同肯定是未来整体大的发展趋势，现在落地的很多应用规模越来越大，用户的需求也越来越复杂，企业的业务也变得越来越丰富，在这个过程里容器技术，与不同的技术结合以满足越来越复杂的需求。另外，容器技术在统一运维管控的方面的能力，也会在各大厂商包括华为云在内的产品迭代过程中，变得更加稳定可靠。

张琦：我们边缘计算更多的是在很多场景下也看到它是跟 AI 相结合的，现在的发展趋势主要是两个，一个是“把 AI 做得更小”，把它需要用到的资源做得更少，可以直接在边缘侧进行 AI 的运算、AI 的推理，所有业务都可以直接在边缘进行闭环。另一个发展方向是云边协同的 AI，比如说边缘侧进行 AI 运算的时候，用很少的资源已经可以解决掉 80% 的问题，另外 20% 的问题如果解决不了可以自动放回云端，让云端协同解决这些问题。

王关胜：从技术角度讲，容器技术在边缘计算落地的场景，其实主要的红利是易分发，云原生衍生出来的基础设施其实有它自己的优势。目前市面上有两种比较流行的边缘计算解决方案，一种是将原本中心化的计算下发到边缘，另一种是靠近用户侧的运算，资源分配、就近处理，提升往返中心链路的成本与速度。可预见的，未来基于这两种解决方案的技术还将有更细化地演进。

Q：Kuberentes 难用问题在未来会不会彻底被解决掉？

丁卓文：应该是可以解决掉的，大概通过两种方式。一个是企业可以直接使用云厂商提供的一些产品，云厂商比如说华为云其实拥有非常专业的团队，也在不同的细分应用场景有非常好的实践。而另外一个方式就是企业利用开源工具来简化操作的复杂性。

张琦：Kuberentes 作为一个云原生容器集群的管理平台，它的功能是非常强大的，在功能强大的同时也说明它对于云原生应用的抽象层次是比较高的，所以如果想从 Kuberentes 社区来彻底解决这个问题是比较困难的，所以这个责任或者这个职责就会落到产品提供商的身上。华为云作为一个商用的 Kuberentes 产品的一个提供商，我们一直在致力于把 Kuberentes 这样的技术进行更好的产品化，一方面是在用户体验上面提供更友好的用户体验，另外一方面我们也在符合或者跟这种生态标准的一致性一致的情况下，我们也会提供各种各样的培训，去降低用户的使用门槛。另外一方面，如果说从纯技术的角度来考虑，目前社区里面也有一些技术的发展方向，比如可以通过 Kuberentes 去定义自己的 CRD。总之，在解决 Kuberentes 难用问题上，厂商和社区都在努力。

王关胜：我个人觉得难用和难入手是两个事情，Kuberentes 其实是属于后者，越通用越灵活的东西，一般使用起来成本就越大，像 Kuberentes 这种系统并不是面向终端用户的，如果终端用户直接使用的话确实会觉得很难用。想要解决难用问题、给出“一键式”解决方案，那就需要有这种平台团队来做这件事情，把这些做集成，甚至对终端用户来说相当于做到去 Kuberentes 化。

圆桌问诊：开发者们关心的问题

Q：多云多集群管理下，用户面临的主要挑战是什么 ？多云多集群会是未来一个很重要的趋势吗？当前什么样的企业会实际部署多云多集群的状态？

张琦：在多云、多集群的使用环境下，其实用户面临的挑战还是比较多的，按照我们之前的项目经验来看，用户面临的挑战主要是以下几方面：

• 管理层面：在这个层面面临的主要挑战首先就是多云多集群的接入，怎么把处于不同位置、不同网络中的多集群接入到一起？如何以一个统一的安全合规的策略去管理多集群，从而保证业务不管是部署到哪里都是安全的？

• 运维层面：如何把不同的地理位置的多集群和业务都在一个中心点上统一运维起来？

• 业务协同：如何让业务系统起来？数据面的管理如何做？

我们现在看到是越来越多的企业会选择多云多集群的技术，目前以大型政企为主，互联网公司也有一些，但是它的多云多集群的性质其实是不太一样的。比如说我们看到更多的互联网公司通常情况下都不会用到单个公有云厂家提供的云，都是多云的，甚至是说在一些视频类的互联网厂家不仅仅是多云，还要管理 CDN 这种边缘的业务，它的边缘是网络边缘不是现场边缘，对于互联网公司来说多云诉求还是比较强烈的。

Q2： 在瞬时的高并发场景中，如何提高 Kuberentes 集群的整体稳定性？

王关胜：像我们早期建设 Matrix 这套系统的时候，我们既要做上层集成和统一的事情，又要做底层 Kuberentes 研究，投入的力量就会比较大。但现在我们把这一块全部交给云厂商了，所以我们目前更多地是从使用角度去看待这个问题。

针对瞬间突发的一些场景，我们增加扩容面，减低等待时间，以成本换可用性。对于一些有规律的业务场景，我们提前做一些预扩容。此外，我们对服务做了分级，比如说核心服务到非核心服务，级别分别是从 0 到 5，不同级别我们在资源调度上也可以做一定的区分，我们保证一些核心服务能够有抢占的能力，保证整体的稳定性，其实这些手段都是我们过去的一些尝试，还不如云厂现在的能力。所以现在最快捷的解决方案，就是把问题抛给像华为云这样的云厂商。

Q3：企业当前对于容器的利用规模大概是呈现什么样的趋势，这样的趋势给开发者和企业发出了什么样的信号呢？

丁卓文：目前所有的研究中都显示，企业对于容器的利用规模在呈现一个持续扩大的趋势，无论是从广度还是深度上。广度上，许多行业场景其实都已经覆盖到了；深度上，在企业不同业务场景中，容器技术都会被利用到，容器技术正在与业务场景产生一个深度的结合。

但无论是容器还是云原生，其实都离不开开源，我们能看到的，当下的云厂商和开源社区贡献者都在为完善开源生态做出努力，相关产品也在变得越来越好用，整个行业的发展呈现出一个非常健康的发展态势。

编者按：

经过多年探索，华为云已打造云容器引擎 CCE、Serverless K8s 服务云容器实例 CCI、智能边缘平台、多云容器平台等 8 大核心容器产品，并已形成以容器为核心构建的“云原生裸金属容器、云原生高性能计算、云原生混合云、云原生边缘计算”四大解决方案，能够满足企业业务在超大规模、极致性能、极速弹性、分布式架构、在线/离线混合部署等方面的诉求，有效支撑资管、行情、消金、电商、直播等行业解决方案的构建。

华为云在云原生容器领域持续技术创新、赋能产业，其容器技术与解决方案已经服务众多华为云客户，尤其是帮助众多互联网企业实现了应用敏捷创新、业务灵活部署，如新浪新闻、蘑菇街、美图。截至目前，已有 80%的中国 Top50 互联网企业选择华为云。“H（华为云）+X”的多云部署模式也越来越受到企业客户的认可与选择。未来，华为云将持续在云原生领域进行技术创新，探索落地应用，持续赋能互联网企业创新增长，共创云上新价值。