本文要点
混合云选项已经超越了传统的定义,云服务的功能已能够在云外运行。Azure Arc 和谷歌 Anthos 等服务为开发者和运营商提供了更加无缝的“混合”体验。
在新兴的“无复制的数据共享”方法中,不需要移动或复制数据就可以从不同的服务访问数据。我们相信,最近宣布的“增量共享”(Delta Sharing)开放标准将有助于无复制数据共享的进一步推广。
持续集成和持续交付(CI/CD)工具和实践之间仍存在着一定程度的混淆,这方面的进展还很有限。GitOps 和网站可靠性工程(SRE)实践被越来越多地采用。
可观察性实践和工具不断成熟。可观察性的三大支柱中,日志记录和度量域相对来说已经被很好地采用了,但是跟踪的采用情况仍然较差。在这个领域,有许多进步令人倍受鼓舞,特别是伴随 OpenTelemetry 的广泛采用而来的那些进步。
我们正在利用 FinOps(用于成本分析的实时信息流)跟踪创新发展,目标是财务团队与微软和 AWS 等公共云供应商同处一线。
越来越流行的实践(如由 OPA 提倡的“策略即代码”)以及远程访问管理工具(如 HashiCorp 的 Boundary)正在推动身份即代码和隐私即代码。
《团队拓扑》这本书已经成为组织中部署团队以实现有效软件交付的实际参考。事件发生后的“无责的事后分析”也越来越受到关注,变得更类似于“健康的回顾”,整个组织都可以从中学习。
本文总结了 InfoQ 目前对“云计算和 DevOps”领域的看法,重点关注基础设施和运维模式、技术框架中模式的实现,以及软件架构师或工程师必须掌握的技能。
正如 Geoffrey Moore 在《跨越鸿沟》一书中所定义的那样,InfoQ 和 QCon 系列会议都关注技术传播的“创新者、早期采用者和早期大众阶段”的主题。我们试图做的是,找出符合摩尔所说的早期市场的想法,在这个市场中,“用户群由技术爱好者和有远见的人组成,他们希望能先行一步,在机遇或迫在眉睫的问题前占得先机。”我们还在寻找那些可能“跨越鸿沟”、得到更广泛采用的想法。在这种情况下,也许值得指出的是,一项技术在采用曲线上的确切位置是可以变化的。例如,微服务在旧金山湾区的公司中得到了广泛采用,但在其他地方可能不太会得到广泛采用,也可能不太合适采用。
在这一期的云计算和 DevOps 趋势报告中,我们认为,混合云方法已经发展成为更加“云原生”的方式。在 2019 年底三位著名的公有云供应商都带来了新的混合云产品市场,在过去的两年里他们一直对它们大力投资,谷歌的Anthos、微软的Azure Arc 和Stack offerings、AWS 的Outposts,以及最近的Amazon ECS Anywhere。比如,对于企业来说,它不仅要将工作负载带到云上,还要在内部运行,或两者同时运行,甚至在多个云上运行。因此,使用 Arc 或 Anthos 这样的服务集中管理工作负载的基础设施就很具价值了。此外,这些产品允许企业扩展其平台。
在“边缘云”和“边缘计算”领域,技术演变越来越多,因此我们认为这个课题应该转移到图表中的早期采用者阶段。具体的供应商工具,如 Cloudflare Workers、Fastly 的 Compute@Edge 和 Amazon CloudFront 的 Lambda@Edge 在这里有相当大的吸引力。
本报告的参与者还发现了一个名为“无复制的数据共享”的新兴趋势。你可以在 Snowflake 等数据管理服务中看到,这些服务支持用户在其源共享数据,却不复制或移动数据。另一个例子是Azure Synapse服务,它支持通过 Azure Synapse Link 从 Azure Cosmos DB 共享无复制数据。最近宣布的增量共享开放标准也推动了无复制数据共享趋势的上升。
在 DevOps 和网站可靠性工程中,可观察性仍然是一个热门课题。虽然大多数组织已经开始实现某种形式的可观察性软件栈,但正如Holly Cummins所指出的,这个术语已经承载了过多的内容,因此应该将其分解为不同的组件了。集中日志聚合之类的想法目前在大多数组织中都很常见,然而,日志仅是构成可观察性的三大支柱之一。
日益流行的OpenTelemetry项目提供了一个一致的框架,不仅可以捕获日志,还可以捕获痕迹和指标。采用单一框架就能带来一致性,这有助于跨混合和异构环境捕获数据,也有助于工具监控。使用服务水平目标(sls)工具来传达监视和可观察性的预期结果也越来越流行,就像今年早些时候首次映入眼帘的SLOConf。
在过去的一年里,随着 MLOps 和 DataOps 的发展,“DevOps for Data”得到了越来越多的应用。MLOps 专注于使用 DevOps 风格的实践 (如 CI 和 CD) 来实施机器学习模型的持续培训。开源工具和商业服务可以在这一领域提供帮助,例如用于在 Kubernetes 上部署 ML 模型的KubeFlow,用于自动监控 ML 模型的Amazon SageMaker Model Monitor。DataOps 希望通过应用 DevOps 团队使用的类似概念来减少自己的周期时间,从而缩短数据分析的周期时间。
在 DevOps 的人员和组织领域,我们已经看到了出自 Matthew Skelton 和 Manuel Pais 的《团队拓扑》一书,它已经成为组织部署团队以实现有效软件交付的实际参考。《团队拓扑》描述了四种基本的团队类型和三种团队交互模式,并深入研究了团队的职责边界以及团队与其他团队沟通或交互的方式。
事件发生后的“无责的事后分析”也越来越受到关注,变得更类似于“健康回顾”,整个组织都可以从中学习。弹性工程计算领域和“从事件中学习”社区的主要领导人在推动这一讨论方面发挥了重要作用。
以下是 2019 年上半年的主题图。2021 年的版本位于本文的前文部分。
下面是几个 InfoQ 云计算 DevOps 主题编辑和 InfoQ 贡献者之间相关的内部聊天记录,仅做了些少量编辑整理,你可以从相关语境中了解图中的推荐定位。
Lena Hall :微软的大型系统总监,最近发表了《我们能相信云不会失败吗?》以及《Azure Synapse 的进化:Apache Spark 3.0,GPU 加速,Delta Lake, Dataverse 支持》等文章。
走向早期大众
GitOps(特别是正在获得关注的 GitHub Actions)
转向早期采用者
DataOps 正在获得广泛的关注(特别是数据治理、数据沿程、数据质量、数据目录工具)
早期创新者的新课题
革新者:Policy as Code--策略即代码(检验/管理组件源附近位置的访问策略)
创新者:云原生混合方法(例如,Azure Arc,谷歌 Anthos)
创新者:跨云统一基础设施自动化/运维(如 Crossplane、开放策略代理)
创新者:数据网格(去中心化数据所有权、联邦数据治理、产品思维、自助数据基础设施)
创新者/早期采用者:无复制的数据共享(Snowflake,谷歌 BigQuery, Azure Synapse, Presto/Starburst 等)
DevSecOps(但它可能没那么新,因为在上一个报告中就已经左移了)
此外,Hall 还讨论了混合云模型的发展。
云原生混合方法(例如,Azure Arc,谷歌 Anthos)。在传统的理解中,混合云意味着对公司的部分工作负载使用本地基础设施,并对相关的其他部分使用公有云。例如,混合云策略意味着在云中运行一些应用程序(例如,无服务器处理),在本地基础设施上运行一些应用程序(例如,商业 ERP 系统)。混合数据方法看起来就像在云中存储数据备份一样简单,或者使用更高级的云网关和精准调优的数据同步、缓存或移动模式。
在最近的几个月和几年里,混合选项已经超越了传统的定义,云服务功能已能够在云之外运行,从而提供更加无缝和流畅的体验。我们可以将新的云本地混合选项视为云服务到本地或多云环境的扩展。Azure Arc 和谷歌 Anthos 就是很好的案例。Azure Arc 是其中的一个理想案例。它支持在混合和多云环境中运行用于 PostgreSQL Hyperscale 的 Azure SQL 托管实例和 Azure 数据库。它还通过 Azure App Service、Functions、Logic Apps 等提供本地应用和云应用的一致管理。另一个绝佳案例是谷歌 Anthos 支持 BigQuery Omni,能够在多个云上部署和管理查询引擎。
需要注意的是,这些新的原生云混合方法,如 Azure Arc 和谷歌 Anthos,不同于更标准的混合云方法,如 Azure Stack 或 Amazon Outposts。为了更清楚地表述它,Azure Arc 和 Azure Stack 都提供了混合解决方案(并且可以一起使用)。Azure Stack 是一种在本地运行 Azure 环境的硬件方法。另一方面,Azure Arc 是一种软件方法,将本地和多云资源(由虚拟或物理服务器和 Kubernetes 集群组成)视为由 Azure 资源管理器本地管理和访问的资源。同样,我们可以如此区分谷歌 Anthos/Azure Arc 和 AWS Outposts。尽管 AWS Outposts 将 AWS 云平台扩展到本地,但它有特定的硬件需求,并且只与 AWS 设计和支持的硬件设备兼容。
Hall 还就“无复制的数据共享”这一新兴趋势分享了一个有趣的见解。
无复制的数据共享(Snowflake、Google BigQuery、Azure Synapse、Presto/Starburst,等等)当需要在不同的服务或不同的环境之间访问或共享相同的数据时,有很多处理方法。当涉及数据共享时,可能会有各种各样的场景。
一种情况是将相同的数据(或相同数据的一部分)存储在同一云中的多个服务中。通常,这些服务的计算和存储并不是独立的。要处理来自另一个服务的数据,我们必须复制或移动它。
在新兴的无复制的数据共享方法中,由于计算和存储分离,不需要移动或复制数据就可以从不同的服务予以访问。因此,它带来更好的可伸缩性、成本效益,支持数据的直接访问。例如,这可以通过 Azure Cosmos DB 的 Azure Synapse Link、BigQuery 外部数据源或 Snowflake 数据共享等特性来实现。
最近宣布的增量共享是一个开放的标准,有助于无复制的数据共享的发展趋势。据其网站介绍,“增量共享是业界首个用于安全数据共享的开放协议,它使得与其他组织共享数据变得非常简单,不管他们使用的是哪种计算平台。”
Holly Cummins,IBM 公司战略创新的领导者,曾在 IBM Garage 做过几年的顾问,分享并贡献了“云本地是关于文化,而不是容器”的见解和文章,并与 InfoQ 分享。
科技领域有些东西变化太快了,而有些东西却几乎没有变化。关于 2019 年 DevOps 和云 InfoQ 趋势报告的大部分介绍都像是现在刚写出来的。
CI/CD 工具和 CI/CD 实践之间仍存在混淆,我认为在消除这些混淆方面并没有任何进展,在 CI/CD 实践方面也没有任何进展。
讨论中似乎遗漏了一件事,那就是可观察性。就像“AIOps”一样,它内容厚重且冗长,但感觉有点像 2018 年的“云原生”。只要你的产品涉及这个领域,不管具体在什么地方,就必须加上“可观察性”这个词。于是其他人会指出它不是真正的可观察性,因为可观察性代表着不同的东西,然后大家开始争论不休。:)
在图表中将可观察性分解为“集中日志聚合”之类的内容似乎很是明智,因为这样可以避免争论,但它又值得在讨论中提及。要包括的另一个子类别我认为是 OpenTelemetry,在创新者部分。
我觉得服务网格已经从谈话中消失了。
FinOps 应该放在创新者部分,与之相关的一个主题是云成本优化。RedMonk 团队的 James Governor 发起了过一次讨论,主题令人兴奋:“将成本优化移至左边:Spotify后台成本分析”,他在讨论中区分了 FinOps(成本分析的实时信息流,针对财务团队)和“云成本优化左移” (针对工程团队)。
可持续发展的核算是另一个创新范畴。再说一次,这还为时过早——我想不到在这一领域有多少足够成熟的产品——但讨论正在进行,我认为它即将到来。
我认为针对数据和 ML 的 DevOps 已经是早期采用者阶段。DevOps for Data 有两个子类:MLOps 和 DataOps。
我想说的是,网站可靠性工程(SRE)现在是早期大众。我看到很多银行都在采用它。
我看到很多关于 GitOps 的讨论,但我不确定这是否能转化为生产中的实现,或者至少不足以将其推向早期大众。同样,我觉得 ChatOps 的发展势头已经放缓,并没有进入早期大众阶段。
Renato Losio,云架构师、远程工作爱好者和演讲者。
针对数据的 DataOps / DevOps :从创新者到早期采用者
边缘计算/ 边缘 ML :现在几乎所有国家都有了 5G,至少是早期采用者。Fastly 可能比预期得到了更广泛的使用,不仅仅是用在针对边缘计算的 CDN 。云提供商的 Local Zones 也呈现出一个新趋势,目前暂不确定将其作为一个单独的主题是否更好。
网站可靠性工程:从早期采用者到早期大众。
Cloud FaaS :从早期采用者到早期大众。
不可变的基础设施:可能是晚期大众?
无服务器数据库(包括 RDBMS 和非 RDBMS):早期采用者。
我看到了一个信息安全的相关资料,但我建议将它归入 Cloud-First Security/ DevSecOps(早期采集者)。
分类帐数据库:早期采用者?
云基础设施和本地服务(Microsoft Azure Stack, AWS Outposts): 早期采用者。
Jared Ruckle, InfoQ 云计算编辑、HashiCorp 产品营销员。
创新者一列的变化
边缘计算转到早期采用者。
对特定的供应商工具(Cloudflare Workers)和云供应商以及企业(尤其是零售商)有相当大的吸引力。
早期采用者一列的变化
网站可靠性工程:早期大众。
安全或信息安全左移:早期大众。
ChatOps:早期大众
随着大量关键应用转向云原生应用,网站可靠性工程实践变得越来越流行;这些应用程序的重要性迫使运维发生改变。
似乎总是有重大的安全事件导致人们更积极地使用安全方法。 Spectre/Meltdown, SolarWinds,勒索软件……据我观察,“左移”正在成为主流。
Slack/MS 团队和疫情加速了工程团队之间的 ChatOps 。
早期大众一列的变化
SDN:晚期大众。
集中式日志聚合:晚期大众。
自助服务平台:晚期大众。
Tenerity 的博主、读者和迭代经理Aditya Kulkarni。
移至早期大众
变革型领导。
网站可靠性工程。
ChatOps。
GitOps。
移至早期采用者
软件定义的交付。
早期创新者的新课题
CI/CD 的应用/软件性能工程。
云可观测性。
FinOps(云费用优化)。
Steef-Jan Wiggers,HSO 和微软 Azure MVP 技术集成架构师。
移至早期大众
云:由于开发人员的采用和供应商的投入,FaaS 和 BaaS 和后端即服务(无服务器)在项目中变得越来越普遍。更多的语言得到支持,相同的帐户带来了可观察性的扩展,例如最近的 GA AWS Lambda 扩展(包括提供扩展合作伙伴的大型生态系统)。
GitOps——GitHubactions 在云平台上得到了越来越多的关注和采用。
早期创新者的新课题
原生云混合方法(如 Azure Arc、谷歌 Anthos):微软、谷歌和 AWS 为企业带来了支持混合场景的新服务。微软提供了 Azure Arc,并引入了各种支持 Arc 的其他服务,这些是我们在 InfoQ 上经常提到的主题。同样,谷歌提供了用于混合云计算的 Anthos,InfoQ 也对此进行了介绍。而 AWS 有 Outposts,并在最近将 Amazon ECS Anywhere 推向大众。
Daniel Byrant, Ambassador Labs 开发者关系总监、InfoQ 新闻编辑。
创新者
Lena Hall 关于跨云统一基础设施自动化的建议为+1。在和我交流的人中,有越来越多的人正在研究 Crossplane。
AI/MLOps 移至早期采用者。
价值驱动架构/运维:正如 Holly 提到的,这可以重新命名为“FinOps”。
声明式架构验证:我认为这可以转化为“政策即代码”,并保留在创新者位置。
边缘计算移到早期采用者——它已经获得了关注。
早期采用者
这部分还是相当准确的!
GitOps/DiffOps:重命名为 GitOps 并移到早期大众。
添加:团队拓扑。
早期大众
容器业务流程:移动到晚期大众。
删除:容器的极简操作系统——现在这被认为是非常利基的。
【企业】DevOps 工具链:移至晚期大众。
CI 最佳实:转到晚期大众。
添加:可观察性。
晚期大众
也许可以添加“监控和日志记录”,就像其他地方一样,对吧?:)
DevOps 发言人、作家和战略顾问Helen Beal。
1)
CI 的最佳实践进入了晚期大众?
无责的事后分析=健康回顾?
特性标志,蓝/绿部署也应该提到金丝雀测试/发布/部署或捆到一起?
混乱工程进入早期大众?2021 年,是的。
DiffOps 消失?
网站可靠性工程到早期大众?2021 年,是的
ChatOps 到晚期大众,2021 年,是的
持续测试到早期或晚期大众?2021 年至晚期大众
DevOps for Data = Data Ops 到早期采用者?
2)
价值流管理:早期采用者(可能会取代 DevOps 仪表板?),2021 年肯定会这么想。
传统可靠性工程到创新者?
DDD 和/或 HDD 到创新者?
2021 补充:
我会考虑引入蔚蓝组织,或者用分布式权力/团队自治取代变革型领导。
团队拓扑结构在哪里?
面向早期采用者的 AIOps
可观察性。
Rupert Field,Duffle-bag 咨询交付主管和 InfoQ DevOps 专栏编辑。
基础设施即代码:早期大众。
许多人还没有实现这个巨大的迁移任务:现实情况是,在全新的项目中,这是很有可能的,但技术债务将遗留系统拒之门外。
网站可靠性工程:貌似合理的早期大众。
我确信它的确该在早期大众上了,但我怀疑执行上是否到了这个水平。
不可变的基础设施:可能是早期大众,而不是晚期大众。
明智的划分,不过……这真的取决于我们是在讨论整个业务还是只是一个新项目。
特性标志 &蓝/绿部署:早期大众(无变化)
混沌工程:早期采用者
ChatOps:可能是早期大众
持续测试:早期大众
流水线即代码:早期大众(没有 IaC 不能使用 GitHub actions )
VSM:综合工具的早期采用者;可能适用于更特别的解决方案的早期大众
在 Forrester 的最新调查中,超过 40%的回应者声称他们正在使用 VSM 工具,但只有 8%左右使用集成平台,显然,调查倾向那些已经有志于此或参与的人。
Shaaron A Alvares,InfoQ 的 DevOps、文化与方法栏目编辑,敏捷教练。
“安全或信息安全左移”是否包含“持续验证”?
新增创新者:
社会技术体系结构。
DevOps 价值流管理平台。
开发人员速度(或者它可以包含在 DevEx?)
添加到创新者或早期采用者:
低代码无代码(LCNC)。
混合云。
移动:
AIOps 和 MLOps 转到早期采用者。
Matt Campbell, DevOps 首席编辑,D2L 的工程总监。
可观察性实践和工具不断成熟。我认为我们应该考虑将可观察性主题分解为一些较新的子主题,如OpenTelemetry和服务级别目标(SLO)。正如其他人所指出的,可观察性的三个支柱中的日志部分是一个相对较好的部分。在这一点上,指标监控采用水平相同,我认为处于早期大众。可观察性的跟踪支柱仍然是较少被采用的部分,但是最近有了新的进步,特别是随着 OpenTelemetry 的更广泛采用。
SLO 作为一种交流结果和目标的工具,在最近的SLOConf引领下开始复苏。我希望更多可观察性平台开始添加 SLO 创建和跟踪工具。我想放到之后趋势报道的创新者/早期采用者中。
随着越来越多备受瞩目的攻击成为新闻,安全问题继续成为热门课题。基础设施即代码在早期采用者或其后,自动化 IaC 漏洞扫描工具和技术没有得到很好利用(可能是早期采用者)。较新的方法,如策略即代码(由Open Policy Agent (OPA)推广)和远程访问管理工具(如HashiCorp的Boundary),正在推动身份即代码、隐私即代码,因此这些方法可能属于创新领域。这些趋势是“安全左移”方法或更新的 DevSecOps 想法的延续。随着对早期安全实践的持续推动,我认为我们将在来年看到更多的工具和流程得以引入。
作者简介
Lena Hall - 微软大数据工程总监。她在微软负责大数据服务的产品改进工作,领导一个团队,负责技术战略。Lena 是推进、促进和推动云服务进一步加速的工程倡议和战略的推动者。Lena 拥有超过 10 年的解决方案架构和软件工程经验,专注于分布式云编程、实时系统设计、高扩展性和高性能系统、大数据分析、数据科学、函数式编程和机器学习。此前,她是微软研究院的高级软件工程师。
Holly Cummins -SPEED @IBM 创新领袖,公司战略,在 IBM Garage 做了几年的顾问。作为 Garage 的一部分,她为各行各业的客户提供技术支持的创新,从银行到餐饮、零售到非政府组织。Holly 是 Oracle Java 冠军,IBM Q 大使,JavaOne 摇滚明星。她是曼宁的《企业级 OSGi in Action》一书的合著者。
Renato Losio:云架构师、远程工作爱好者、演讲者和 InfoQ 云计算编辑。Renato 在意大利、英国、葡萄牙和德国拥有多年的软件工程师、技术领先和云服务专家经验。他住在柏林,作为 Funambol 的首席云架构师远程工作。基于位置的服务和关系数据库是他的主要工作兴趣。他是 AWS 数据英雄。
Jared Ruckle:InfoQ 的云计算编辑;HashiCorp 产品营销。Jared 在产品营销和产品管理方面有超过 20 年的经验。他曾就职于多家 IaaS、PaaS 和 SaaS 公司,包括 VMware、Pivotal 和 CenturyLink。目前,Jared 是 HashiCorp 的产品营销总监。
Aditya Kulkarni:Tenerity 的博主,读者,迭代经理,InfoQ 的 DevOps 编辑。Aditya 从开发人员角色开始,已经发展到管理领域。Aditya 与组织在敏捷之旅中合作,一直保持着技术方面的联系。
Steef-Jan Wiggers:HSO 技术集成架构师,微软 Azure MVP 和 InfoQ 云计算首席编辑。他目前的技术专长是集成平台实现、Azure DevOps 和 Azure 平台解决方案架构。Steef-Jan 是荷兰 Azure 用户组(Dutch Azure User Group)的董事会成员,经常在会议和用户组上发言,为 InfoQ 和无服务器笔记(Serverless Notes)撰稿。此外,微软还将他评为过去 11 年的微软 Azure MVP。
Daniel Byrant: Ambassador Labs 开发者关系总监、InfoQ 新闻经理、QCon PC。他目前的技术专长是“DevOps”工具、云/容器平台和微服务实现。Daniel 是伦敦 Java 社区(LJC)的领导者,为几个开源项目做出过贡献,为 InfoQ、O'Reilly 和 DZone 等知名技术网站撰稿,并定期在 QCon、JavaOne 和 Devoxx 等国际会议上发表演讲。
Helen Beal: DevOps 发言人,作家,战略顾问,InfoQ DevOps 编辑。她的关注点是通过行为、互动和技术改进,帮助组织优化从想法到价值实现的流程。
Rupert Field :Duffle-bag 咨询交付主管和 InfoQ DevOps 编辑。他喜欢学习技术,帮助人们利用技术解决问题。他的经验包括定义、设计和交付技术团队战略。这包括提供指导、培训、运营模式设计和业务转型。
Shaaron A Alvares:InfoQ 的 DevOps、文化与方法编辑,敏捷教练。她是敏捷认证领导者、敏捷国际联盟的敏捷认证教练和敏捷认证从业者,在技术和组织转型方面拥有全球工作经验。她在欧洲多个全球财富 500 强公司(如 BNP-Paribas、NYSE-Euronext、ALCOA Inc.)引入了精益敏捷产品和软件开发实践,并在 Amazon.com、Expedia、Microsoft、T-Mobile 领导了大量精益敏捷和 DevOps 实践的采用和转型。Shaaron 在法国国家科学研究中心(CNRS)发表了哲学硕士和博士论文。
Matt Campbell:首席编辑,D2L(一家教育技术公司)DevOps 、工程总监,负责他们的基础设施和云平台团队。他关注的领域是 DevOps 和网站可靠性工程,并做企业规模的实现。他还在康内斯托加学院(Conestoga College)教授编程课程。
译者简介:冬雨,小小技术宅一枚,从事研发过程改进及质量改进方面的工作,关注编程、软件工程、敏捷、DevOps、云计算等领域,非常乐意将国外新鲜的 IT 资讯和深度技术文章翻译分享给大家,已翻译出版《深入敏捷测试》、《持续交付实战》。
原文链接:
DevOps and Cloud InfoQ Trends Report - July 2021
评论