云计算从 AWS 初创时的牛刀小试到如今巨大的行业和生态,从新鲜词汇变为流行语,它的十年发展经历了哪些阶段?每个阶段分别创造和发展了什么?未来云计算又将朝着哪些方向继续前行?此文系 QCon 十周年特别策划《技术十年》系列文章,旨在通过回顾技术发展总结最佳实践、为开发者启发技术新思路。本篇为 InfoQ 特邀北京国双科技有限公司(以下简称:国双)技术总经理何恺铎撰文,对云计算发展历程进行深入分析和探讨。更有大数据、移动、运维等领域文章敬请期待。访问 QCon 北京 2019官网日程,了解最新技术趋势与实践。
写在前面
本文上篇回顾了云计算领域早期的发展与变革,从普通开发者及实践者视角梳理了十年来云计算发展的上半程:萌芽时代和探索时代。本文下篇是对该选题的延续,着重介绍云计算发展的下半程:发展时代和繁荣时代,并将探讨未来云计算领域的若干发展趋势。因篇幅所限,本文所讨论的范畴同样聚焦于公有云,以 IaaS 和 PaaS 层面的技术演进为主。
发展时代 2014-2018
当整个云计算行业一定程度走过蹒跚探索时期之后,开创者们积累了越来越多的经验,对市场反馈和客户需求有了更清晰的了解与洞察,业务模式与商业运营也驾轻就熟起来——云计算行业终于进入高速发展时代。在这一时期,不论是总体市场规模,还是云计算的产品与服务,都得到了极大的增长和丰富。
首先,IaaS 方面的继续进步体现在服务的特异性和多样性上,不断推出细分领域和特定场景下适用的虚拟机实例:如基于物理隔离的专属实例、可运行 SAP HANA 等大型负载的超高配实例、采用 CPU 积分制的性能突增实例、适用于机器学习与 AI 的 GPU 实例等。此类细分服务在云端出现的背后,是不少厂商针对性地研发和定制了适用于云的专属配套硬件。这些新一代的服务器不仅是简单的配置升级,而且在设计之初就是为云端负载而生,与云计算产品理念及底层软件技术栈高度融合匹配。另外在虚拟机计费规则方面,除了经典的按使用时长计费方式,各厂商也相继推出更为灵活的计费模式:包年包月、预留实例、竞价实例等,可有效帮助降低使用成本。这些 IaaS 方面的诸多进展,进一步满足了各场景的细分需求,减少了许多客户的上云阻碍。
在存储服务方面,云计算的步伐也在加快,除立足于核心对象存储服务的增强外,开始以一体化方式进攻部分垂直市场,挤占传统厂商的市场空间。最典型的例子莫过于 CDN:阿里云自 2015 年起在 CDN 领域大举扩张,多次主动大幅降价抢占市场,其他云计算厂商也纷纷跟进,这是原本波澜不惊的 CDN 领域的标志性事件。面对云计算厂商的竞争,网宿、蓝汛等老牌 CDN 厂商顿时立感压力,市场份额也开始发生相应变化。在国外,AWS CloudFront 和 Azure CDN 等云服务同样与 Akamai 这样的传统巨头进行着激烈角逐。当然,得益于 CDN 的架构融合特性,传统厂商也可选择与云厂商合作,从上游的基础设施方面作为云的供应商存在,不失为合作共赢之道。但无论如何,事实说明云的参与和挤压是相关市场发展的必然趋势。而且从技术层面来看,服务之间的一体化协同效应是云计算厂商进入 CDN 这样的单一领域的独到优势。例如,云厂商的 CDN 可以与自家的对象存储服务联动,用户只需要轻点鼠标,即可将对象存储中的文件映射至云 CDN 的边缘节点网络来对外服务,免去了搭建传统回源站点的麻烦。
PaaS 方面在这个大发展时代也找到了崛起之道,不再寻求大一统的应用程序框架,而是更多提供标准的可复用中间件,并与其他 IaaS/PaaS 设施进行组合与联动——这一思路迅速得到开发者和架构师们的欢迎,随着特性完善其采用率开始稳步上升。典型的例子包括 API 网关、负载均衡器、消息队列等。更进一步地,这一阶段的 PaaS 服务在与 IaaS 虚拟网络集成方面有了较大进步——这是以往 PaaS 服务常为人诟病的短板,即只提供面向互联网的公开端口,游离于 IaaS 的虚拟网络和架构体系之外——这一现状也通过两种方式得到了相当程度的解决:一种可称之为 PaaS-in-VNet,即允许 PaaS 服务直接部署到现成的虚拟网络之上,例如 Azure 上的 App Service Environment (ASE),就是将 App Service 部署到私有虚拟网络的服务形式;另一种方式则是所谓 PaaS-to-VNet,为 PaaS 与虚拟网络之间提供私有通道,在不开放公开访问的情况下允许双向网络互通,同样以 Azure App Service 为例,用户可通过开启服务内置的 VNet Integration 特性来配置与私有网络的安全通信。可以看到,无论是 PaaS-in-VNet 还是 PaaS-to-VNet,其本质都是试图解决 PaaS 和 IaaS 的融合问题,这无疑增加了 PaaS 在整体架构中被采纳的可能。
势头颇佳的 DBaaS 方面的进展,主要体现为从经典关系型数据库拓展到新兴的各类 NoSQL 数据库及大数据领域的云服务。MongoDB、Redis、Kafka、ElasticSearch——这些耳熟能详的开源数据库,我们几乎能在每一个云上找到其对应的托管服务,轻松地一键搭建所需集群。云上数据库的开箱即用是如此的便捷与诱人,不断获得市场,甚至引起了开源厂商的不满:MongoDB 近期将开源协议从 AGPL 调整为新推出的 SSPL,是一时关注度颇高的社区新闻,其矛头正是直指开源软件被直接包装为云服务牟利的状况(部分网友戏称此为“插管吸血”)。在此,我们对各方抱有商业目的的行为不做倾向性评价,但从产品技术层面来讲,实力雄厚的云厂商并不乏应对之道:一是基于开源版本作分叉并开始自行维护和迭代,二是完全自行实现数据内核和引擎,仅在客户端协议方面与主流数据库进行兼容。目前,后者这类自研云数据库越来越成为一种新趋势:厂商可以放开手脚,充分利用云的特点进行重新设计,同时又兼容流行协议,这一方式迅速取得了市场和开发者认同,此类数据库的杰出代表是 AWS Aurora 和 Azure CosmosDB。其中 AWS Aurora 完全兼容最流行的 MySQL,同时实现了计算存储的高度分离和近乎无限的扩展,而 Azure CosmosDB 则是一款多模式数据库服务,提供 SQL、MongoDB、Cassandra、Gremlin 等多种开放协议或查询语言的兼容,同时实现了全球分布、按需扩容、一致性保障等特性。所以,无论是 Aurora 还是 CosmosDB,一经推出都迅速攻城略地,取得了不俗的战果。在国内,以阿里、腾讯为代表的大厂商也同样在自研数据库方面不断加码,陆续推出了阿里云 PolarDB、腾讯云 CynosDB 等重磅服务。
在这样的局面下,也许开源软件厂商可以参考同为创业公司的 DataBricks 的做法。DataBricks 作为大数据处理领域事实标准 Spark 框架的实际掌舵者,一方面主导把控 Spark 开源版本不断进步,另一方面也开始推出性能更佳、交付节奏更快的商业版本 Databricks Runtime。更重要的是,Databricks 积极地同云厂商合作,将自身的解决方案融入到公有云平台之中,成为了平台上原生的 PaaS 服务,例如与微软深度合作推出的 Azure Databricks。尽管云上已有基于纯开源方案的大数据服务如 AWS EMR 和 Azure HDInsight,但基于 Databricks 商业级解决方案的 PaaS 服务有自己独到的优势和特点,已初步获得了不错的发展势头。我们由衷希望,出色的开源软件公司能够像 DataBricks 这样寻找到一种与云合作共赢的商业模式,毕竟业界既需要一站式的整合平台,又应当保护开源与创新的良性环境。
容器与微服务,可以说是近年最重要的技术趋势之一。作为新技术的拥抱者和试验田,公有云自然不会袖手旁观。事实上各大云在容器服务方面的尝试由来已久,在早期厂商们就各自推出了如 AWS ECS、Azure ACS、阿里云容器服务等基础设施,提供基于底层 IaaS 的容器运行环境,同时包含开源或自研的编排引擎。而当 Kubernetes 在编排大战中逐步胜出并成为事实标准后,各大厂商又不约而同地对 Kubernetes 提供更加定向和深度的支持,纷纷推出 AWS Elastic Kubernetes Service (EKS)、Azure Kubernetes Service (AKS)等新一代容器服务。另一类容器托管服务则进一步屏蔽了底层细节和调度麻烦,让容器作为独立计算单元直接在共享基础设施上运行,如 AWS Fargate、Azure Container Instance、阿里云 ECI 等,颇得无服务器计算思想之精髓。当然,经典的无服务器计算一般指 FaaS,例如也在同步发展的 AWS Lambda 和 Azure Functions,它们虽在编程框架和范式方面有所限制,但得益于更高层抽象,可让开发者聚焦业务逻辑,在合适的场景中使用得当可大幅提高研发效率。
让我们的视角再从技术回到商业。随着云计算行业体量越来越巨大,市场竞争也愈发激烈,价格战屡见不鲜。虽然说云计算有着相当不错的商业模式,但这毕竟是一个重投入长周期的行业,因此陆续有中小玩家力不从心、陷入困境。例如国外的 Rackspace,原本入场颇早也有相当积累,一度曾在市场中占先,但当巨头纷纷入场后就显得后劲不足,现已跌出市场占有率前五名。也许当云计算进入巨头角力时代后,中小玩家还是需要着力发展自己特色,深耕细分市场,或是寻求联姻以共享能力与资源。
客户方面,云计算在这一时期开始明显地从互联网企业向传统行业进行渗透。为了拿下更多传统行业客户,组织架构和流程的匹配也是必做的功课。走在前面的云厂商相应地完善了云上的多账号管理、组织架构映射、资源分组、细粒度权限管控等企业级功能。例如阿里云就在不断地更新升级其企业控制台,帮助用户更好地管理人员、资源、权限及互相之间的关系。
至此,经历了大发展的云计算已然成长为几乎承载一切、包容一切的巨大平台,是一艘提供企业信息化和数字化整体解决方案的航空母舰。云计算无疑已经全面走向成熟,成为了参与和推动 IT 业界向前发展的重要力量。
繁荣时代 2019-
时间终于进入 2019 年。基于过去十年发展的良好态势,我们没有理由不相信云计算将进入繁荣热潮。来自 Gartner 的分析报告显示,2019 年的全球公有云市场规模将超越 2 千亿美元,并将继续保持稳定增速。而国内由于起步相对较晚,市场渗透率还不高,将拥有更高的增速。“上云”将成为各类企业加快数字化转型、鼓励技术创新和促进业务增长的第一选择甚至前提条件。对于企业而言,更多的不会是上不上云的问题,而是要考虑上哪家云、怎么上云的问题,是如何迁移重构以适配云端的问题,是如何让云更好地服务生产的问题。因此,我们对云的未来理应充满信心,同时也抱有更高的期待。接下来,我们不妨结合企业的需求和云厂商的投入方向,大胆预测未来云计算发展的若干趋势。
趋势之一:云计算将进一步成为创新技术和最佳工程实践的重要载体和试验场,走在时代进步的前沿。这是得益于云产品本身的 SaaS 属性,非常适合快速交付与迭代,能够较快地把新产品、新技术推向业界。可以看到,当下的热点技术,从 AI 与机器学习、IoT 与边缘计算、区块链到工程实践领域的 DevOps、云原生和 Service Mesh,甚至未来感十足的量子计算,都有云计算厂商积极参与、投入和推广的身影。以人工智能为例,不论是前面提到的 IaaS 中 GPU 计算资源的提供,还是面向特定领域成熟模型能力开放(如各类自然语言处理、图像识别、语音合成的 API),再到帮助打造定制化 AI 模型的机器学习平台(如 AWS SageMaker、Azure Machine Learning Service、阿里云 PAI 等),云事实上从各个层面都有力地支持和参与了 AI 相关技术的发展。就最终效果而言,云上的资源和产品让人工智能等新兴技术变得触手可及,大大降低了客户的探索成本,也加快了新技术的验证和实际交付,具有极高的社会价值。另外值得一提的是,云在新技术的发展过程中还保持了某种程度的中立性,对于技术趋势持有普遍包容和适应的态度——最典型的例子莫过于容器化和开源框架(如 Spring Cloud)支持下的云原生架构,它们事实上同部分云端 PaaS 服务存在竞争关系,甚至有助于用户解除厂商锁定,但云厂商并不会厚此薄彼,而是进行不遗余力的支持与适配,更多地把选择权留给客户。
趋势之二:云计算将顺应产业互联网大潮,下沉行业场景,向垂直化产业化纵深发展。随着通用类架构与功能的不断完善和对行业客户的不断深耕,云计算自然地渗透进入更多垂直领域,提供更贴近行业业务与典型场景的基础能力。典型的垂直云代表有视频云、金融云、游戏云、政务云、工业云等。以视频云为例,它是将视频采集、存储、编码转换、推流、视频识别等一系列以视频为核心的技术能力整合为一站式垂直云服务,不仅适用于消费互联网视频类应用的构建,更重要的是配合摄像头硬件和边缘计算节点进军广阔的线下安防监控市场。再如金融云,可针对金融保险机构特殊的合规和安全需要,提供物理隔离的基础设施,还可提供支付、结算、风控、审计等业务组件。可以预计,随着消费互联网红利耗尽,产业互联网将逐步受到重视并兴起,其规模之大、场景之多,将给予云计算厂商极大的发展空间;而云计算作为赋能业务的技术平台和引擎,也非常适合承载产业互联网的愿景,加快其落地与实现。
趋势之三:多云与混合云将成为大中企业刚需,得到更多重视与发展。当企业大量的工作负载部署在云端、对于云的应用进入深水区之后,新的问题则会显现:虽然云端已经能提供相当高的可用性,但为了避免单一供应商出现故障时的风险,关键应用仍须架设必要的技术冗余;另一方面,当业务规模较大时,从商业策略上说也需要避免过于紧密的厂商绑定,以寻求某种层面的商业制衡和主动权。因此,越来越多的企业会考虑同时采购多个云厂商的服务并将它们结合起来使用——这将催生多云架构和解决方案的兴起,以帮助企业集中管理协调多个异构环境,实现跨云容灾和统一监控运维等需要。例如华为云不久前发布了商用级的多云容器平台 MCP,可对跨云跨区域的多个容器集群进行统一资源与应用管理,提供一站式的接入、管控和调度能力;在网络基础设施层面,也有如犀思云这样专注于云交换服务的企业,提供云与云、网与网之间的快速互联,帮助多云互联在稳定性延迟等方面达到生产要求。除同时使用多个公有云之外,合规和隔离性要求更高时的另一选择是私有部署云基础设施,并与相应公有云专线连接形成混合云架构。从目前市场态势看,主要有公有云厂商主导的混合云方案和私有云厂商主导的方案两类。笔者个人更看好前者的发展,是因为公有云厂商方案让混合云的私有部分成为了公有云在自有数据中心的自然延伸,提供了与公有云端高度一致的能力和使用体验。此类服务的代表有微软的 Azure Stack,以及阿里云 Apsara Stack,包括之前只专注公有云的 AWS 终于在 re:Invent 2018 大会上推出了 AWS Outposts,也加入了混合架构的行列。
趋势之四:云的生态建设重要性不断凸显,成为影响云间竞争的关键因素。当某个云发展到了一定规模和阶段后,恐怕不能仅仅考虑技术和产品,同样重要的是建立和培育具有生命力的繁荣生态和社区,此为长久发展之道。因为一朵云再大再丰富,也必有覆盖不了的场景和完成不了的事情。这就需要大量的第三方服务提供商,以合作伙伴的身份基于云平台提供各类解决方案。此举既方便了用户,又增加了云的粘性,也可保证应用提供商的市场空间,可谓三方共赢。所以在当下各大云平台上,我们都能够找到应用市场和合作伙伴计划,这正是厂商们着力建设的第三方解决方案平台。例如,国内大数据领域的明星创业公司 Kyligence 拥有以 Apache Kylin 为核心的企业级大数据 OLAP 解决方案,通过其 Kyligence Cloud 套件深度适配了多个云端,先后登陆了包括 Azure、AWS 和阿里云在内的多个云市场与平台。
云生态的另一个重要方面是面向广大开发者、架构师和运维工程师的持续输出、培养和影响。只有赢得广大技术人员的关注和喜爱,才能赢得未来的云计算之仗。我们之所以敢下这个判断,是因为以下几点原因:其一,云的采购具有弹性特征,不论是 Pay-as-you-go 还是年单方式,都可随实际项目效果和生产运行情况进行调整,此时一线研发人员和架构师会颇具发言权,可将使用端的实际情况反推至商务决策层面并影响续约;其二,从历史上来看,部分较为失败的云上功能,往往是失之于理想化和简单化,或是过多地从管理或宣传视角考虑而忽略了落地细节,最终导致了实操效果受限、口碑下滑甚至无人问津,因此从开发者的角度思考产品设计对于云而言至关重要;其三,如若能培养庞大的技术爱好者和粉丝群体,形成传播效应,相信对应的云服务自然不愁业务的增长,还能进一步收集到更多产品反馈,形成良性循环。由上种种,所以当下各大厂商,都开始空前重视开发者关系,并视之为核心竞争力。云厂商们不但努力地建设丰富的文档体系和在专业媒体频繁发声,还会积极举办各类论坛和参与业界开发者会议,并新增如 Developer Advocate 这样的布道师职位,专注于在开发者群体中扩大影响力。这里我们不妨简单分析一个例子:IBM Cloud(原 BlueMix)。总体上 IBM 云历来相当注重和依赖企业端的庞大销售体系和客户资源,但在赢得开发者和社区方面投入相对不足,所以在大多数人的印象中,IBM 云总显得有些遥远和陌生。一旦“脱离了人民群众”,久而久之就难免在市场竞争中处于颓势。恐怕这也能够解释为什么 IBM 去年斥 340 亿美元巨资收购红帽:IBM 不仅仅是看重 Red Hat 深厚的开源技术积累及其 OpenShift 云平台,也一定包含了对于其开发者人气和社区基因的考量,可以很好地弥补自身短板。
综上所述,“创新、垂直、混合、生态”这四大趋势,将伴随云计算走向繁荣。对于云计算的美好未来,我们已迫不及待。最后再作一个小小的预判:随着云的高度复杂化和差异化,企业会愈发需要面向云端各个层面的解读、判断与帮助,除了第一方厂商支持团队的助力之外,独立的云计算咨询与托管服务会成为新的需求热点——这将催生一个不小的云增值业务市场,即 Cloud MSP (Managed Service Provider)。在国外,Cloud MSP 已有一定的关注度,Gartner 也开始为此领域发布观察报告及绘制魔力象限,目前埃森哲处于行业领先地位;在国内,我们也欣喜地看到如云角信息(已被神州数码收购)、云宿科技、新钛云服等厂商中立的云 MSP 不断出现,且发展势头颇为良好。能否为客户持续创造价值,并形成合理的商业模式,将是决定 Cloud MSP 这一云衍生行业未来的关键。
结语
云计算走过了激荡十年,可谓势不可挡,风雨兼程。它如此巨大和丰富,虽万字不足以道其一二。限于篇幅,本系列文章无法覆盖云计算的更多角度与话题,还请读者见谅。另外,本系列文章对于云计算发展的分代方式仅供参考,事实上技术的发展更迭总是互相交织和持续进行的。
云计算历史性地对 IT 硬件资源与软件组件进行了标准化、抽象化和规模化,某种意义上颠覆和重构了 IT 业界的供应链,这是一个巨大的革新与进步。如今,云计算正迎来最好的时代,在中国这片广阔热土更是如此。我们由衷希望,云计算行业不仅取得商业上的成功,更能扎实服务各行各业,为社会经济发展提供数字化引擎和强大动力。让我们继续与云计算同行,与伟大的数字时代同行。
作者简介
何恺铎,国双(Nasdaq:GSUM)技术总经理,QCon 讲师,公众号“云间拾遗”作者。毕业于清华大学,曾供职于摩根士丹利基础架构部门,2011 年加入国双工作至今。多年来参与架构和设计了国双数个面向数字营销和社交聆听的大数据解决方案。个人关注的技术领域包括云计算、Hadoop 生态系统、数据库技术等。
相关文章:
最新一届的 QCon 即将于 5 月 6-10 日在北京国际会议召开。除了涵盖架构、移动、运维、安全、大数据等经典方向以外,QCon 还策划了智慧零售、用户增长、Chaos Engineering 等新兴方向的话题,超 150 位技术大咖将分享最值得参考的技术实践案例。访问 QCon 北京 2019 查看大会日程,收获技术成长。
评论 2 条评论