DevOps生态需要考虑各种需求，例如持续集成方案、源控制管理、自动化构建、服务器选择、测试覆盖率等。本文通过5个关键步骤，向DevOps初学者介绍如何通过流行的开源工具来解决这些需求。

DevOps在修复缓慢、孤立或其他功能失调方面已成为软件开发过程的首选方案。如果刚接触DevOps并且不确定从哪里开始，可以参考本文DevOps Pipeline的内容，以及创建一个Pipeline的五个步骤。

DevOps之旅

我曾经在花旗集团的云团队工作，开发基础架构即服务（IaaS）Web应用程序来管理花旗的云基础架构，但总想找到方法来提高开发流程效率，并为开发团队带来积极的文化变革。我在Greg Lavender推荐的一本书中找到了答案，他是花旗云架构和基础设施工程的首席技术官，书名叫The Phoenix Project，它像一本小说一样阐释了DevOps的原则。

下面的表格显示了不同公司部署到发布环境的频率：

Amazon、Google和Netflix的频率是如何做到的？这是因为这些公司已经找到了制作一个近乎完美的DevOps Pipeline的方法。

花旗在实施DevOps之前，情况并非如此良好。那时候，团队有不同的阶段性环境，但是开发服务器的部署是非常手动的。所有开发人员只能访问基于IBM WebSphere Application Server Community Edition的一个开发服务器。问题是，当试图为多个用户同时进行部署时，服务器就会崩溃，因此开发人员不得不在即将进行部署时让对方知道，这点让人非常痛苦。此外，还存在代码测试覆盖率低、手动部署过程繁琐，以及无法绑定已定义的任务或用户故事来跟踪代码部署的问题。

我意识到必须要做一些改变，并找到了志同道合的同事。我们决定合作构建一个初始DevOps管道 - 他在Jenkins工作期间设置了虚拟机和Tomcat应用服务器，与Atlassian Jira和BitBucket集成等。之后，该项目取得了巨大成功：几乎完全自动化了开发流程，在开发服务器上实现了近100％的正常运行时间，可以跟踪和改进代码测试覆盖率，Git分支可以与部署和Jira任务相关联。并且，用于构建DevOps管道的大多数工具都是开源的。我现在意识到，DevOps管道还存在不足，因为没有利用类似Jenkins文件或Ansible这样的高级配置。然而，这个简单的过程运作良好，可能是由于帕累托原则（也称为80/20规则）。

DevOps和CI/CD Pipeline简要介绍

如果随便问几个人，“什么是DevOps？”，可能会得到几个不同的答案。与敏捷开发一样，DevOps已经发展到包含许多不同学科，但是大多数人会认可：DevOps是一个软件开发实践或者软件开发生命周期（SDLC），核心原则是一种文化变革，开发人员和非开发人员都在一个原本是手动操作、现在是自动化的环境中工作，每个人都做最擅长的事情，每个时期的部署数量都在增加，吞吐量也在增加，灵活性则逐渐提高。

虽然合适的软件工具并不是实现DevOps环境所需的唯一办法，但有些工具是必需的。关键是持续集成和持续部署（CI/CD）。Pipeline构建了一个环境，具有不同的阶段（例如，DEV，INT，TST，QA，UAT，STG，PROD），手工部分被自动化，开发人员可以实现高质量、高灵活性的代码，并允许大量部署。

本文介绍了使用开源工具创建DevOps Pipeline的五步方法，如下图所示：

第1步：CI/CD框架

第一件事是找一款CI/CD工具。Jenkins是一个基于Java开源的、基于MIT许可证的CI/CD工具，已成为DevOps的标准。

Jenkins是什么？想象一种神奇的通用遥控器，Jenkins可以与许多不同的服务和工具交互协调。类似Jenkins这样的CI/CD工具本身没多大用，但随着插入不同的工具和服务，将变得越来越强大。

Jenkins只是众多开源CI/CD工具中的一种，可以利用它来构建DevOps Pipeline。

Name	License
Jenkins	Creative Commons and MIT
Travis CI	MIT
CruiseControl	BSD
Buildbot	GPL
Apache Gump	Apache 2.0
Cabie	GNU

以下是使用CI/CD工具的DevOps流程：

现在本地主机中运行了CI/CD工具，可以开始DevOps之旅的下一步。

第2步：源控制管理

验证CI/CD工具是如何运作最佳（也可能是最简单）方法是与源控制管理（SCM）工具集成。为什么需要源代码管理？假设正在开发一个应用程序，无论何时要构建应用程序，都需要编程，无论是Java、Python、C ++、Go、Ruby、JavaScript还是其他任何一种编程语言，所编写的编程代码称为源代码。

一开始，尤其是独自工作时，开发者将所有内容放在本地目录可能是可以的。但是，当项目变得更大并且需要邀请其他人协作时，需要一种方法来避免合并冲突，同时有效共享代码修改，还需要一种方法来恢复以前的版本，备份、复制和粘贴就显得比较落伍，开发者可能需要更好的东西。

这就是SCM几乎成为必需品的原因，SCM工具通过将代码存储在存储库中，对代码进行版本控制，在项目成员之间进行协调来提供帮助。

实际上，有很多SCM工具，Git是一个标准。强烈建议使用Git，但如果愿意，还有其他开源可选：

Name	License
Git	GPLv2 & LGPL v2.1
Subversion	Apache 2.0
Concurrent Versions System (CVS)	GNU
Vesta	LGPL
Mercurial	GNU GPL v2+

以下是添加SCM后DevOps管道的样子：

CI/CD工具可以自动执行源代码迁入和迁出，执行跨成员协作任务。但是，如何将其变成一个有效的应用程序，以便数十亿人可以使用和欣赏呢？

第3步：自动化构建工具

开发者可以查看代码并将更改提交到源代码管理，然后邀请朋友进行源代码管理开发和协作。如果到目前还没有构建应用程序，要使其成为一款Web应用程序，必须进行编译并放入可部署的包或作为可执行文件运行。（请注意，像JavaScript或PHP这样的解释型语言不需要编译）

现在来看看自动化构建工具。无论决定使用哪种构建工具，都有一个共同目标：将源代码构建为某种所需格式，并自动执行任务来清理、编译、测试并部署到特定位置。构建工具将根据编程语言而有所不同，这里有一些常见的开源选项可以考虑：

Name	License	Programming Language
Maven	Apache 2.0	Java
Ant	Apache 2.0	Java
Gradle	Apache 2.0	Java
Bazel	Apache 2.0	Java
Make	GNU	N/A
Grunt	MIT	JavaScript
Gulp	MIT	JavaScript
Buildr	Apache	Ruby
Rake	MIT	Ruby
A-A-P	GNU	Python
SCons	MIT	Python
BitBake	GPLv2	Python
Cake	MIT	C#
ASDF	Expat (MIT)	LISP
Cabal	BSD	Haskell

现在，可以将自动化构建工具的配置文件放入源代码管理，然后让CI/CD工具构建它：

一切都很好，对吧？但是，在哪里进行部署呢？

第4步：Web应用程序服务器

到目前为止，开发者有一个可执行或可部署打包文件。对于任何真正有用的应用程序，必须提供某种服务或接口，但还需要一个容器来托管应用程序。

对于web应用程序，web服务器就是这类容器。应用程序服务器提供了这样一个环境，可以检测可部署包内的编程逻辑、公开接口，通过socket向外部提供web服务。HTTP服务器以及其他一些环境（如虚拟机）可以用来安装应用程序服务器。

有许多可用的开源web应用程序服务器：

Name	License	Programming Language
Tomcat	Apache 2.0	Java
Jetty	Apache 2.0	Java
WildFly	GNU Lesser Public	Java
GlassFish	CDDL & GNU Less Public	Java
Django	3-Clause BSD	Python
Tornado	Apache 2.0	Python
Gunicorn	MIT	Python
Python Paste	MIT	Python
Rails	MIT	Ruby
Node.js	MIT	Javascript

现在，DevOps Pipeline基本可以使用：

虽然可以就此进行下一步集成，但代码质量对于应用程序开发人员来说是一件很重要的事情。

第5步：代码测试覆盖率

另一个繁琐的要求可能是实现代码测试，开发人员需要尽早捕获应用程序中的任何错误，提高代码质量以确保最终用户满意。幸运的是，有许多开源工具可用于测试代码并提出改进其质量的方法。更好的消息是，大多数CI/CD工具可以插入这些工具并将这个过程自动化。

代码测试分为两部分：协助编写、运行测试的代码测试框架，以及有助于提高代码质量的代码质量建议工具。

代码测试框架：

Name	License	Programming Language
JUnit	Eclipse Public License	Java
EasyMock	Apache	Java
Mockito	MIT	Java
PowerMock	Apache 2.0	Java
Pytest	MIT	Python
Hypothesis	Mozilla	Python
Tox	MIT	Python

代码质量建议工具：

Name	License	Programming Language
Cobertura	GNU	Java
CodeCover	Eclipse Public (EPL)	Java
Coverage.py	Apache 2.0	Python
Emma	Common Public License	Java
JaCoCo	Eclipse Public License	Java
Hypothesis	Mozilla	Python
Tox	MIT	Python
Jasmine	MIT	JavaScript
Karma	MIT	JavaScript
Mocha	MIT	JavaScript
Jest	MIT	JavaScript

请注意，上面提到的大多数工具和框架都是针对Java、Python和JavaScript编写的，因为C ++和C#是专有编程语言（尽管GCC是开源的）。

现在已经实现了代码测试覆盖工具，DevOps Pipeline应该类似于本教程开头所示的DevOps Pipeline图。

可选的步骤

容器

如上所述，可以在虚拟机或服务器上托管应用程序服务器，但容器是一种流行的解决方案。

什么是容器？简短的解释就是VM自身需要占用操作系统的巨大空间，这会占用应用程序的大小，而容器只需要一些库和配置就可以运行应用程序。显然VM仍有重要的用途，但容器是托管应用程序（包括应用程序服务器）的轻量级解决方案。

虽然有多种容器可选择，但Docker和Kubernetes是最受欢迎的：

Name	License
Docker	Apache 2.0
Kubernetes	Apache 2.0

中间件自动化工具

DevOps Pipeline主要侧重于协作构建和部署应用程序，还可以使用DevOps工具执行许多其他操作。其中之一是利用Infrastructure as Code（IaC）工具，也称为中间件自动化工具。这些工具有助于自动化中间件软件的安装、管理和其他任务。例如，自动化工具可以通过正确的配置提取应用程序（如Web应用程序服务器、数据库和监视工具），并将它们部署到应用程序服务器。

以下是几个可以考虑的开源中间件自动化工具：

Name	License
Ansible	GNU Public
SaltStack	Apache 2.0
Chef	Apache 2.0
Puppet	Apache或GPL

原文链接：A beginner’s guide to building DevOps pipelines with open source tools

创作场景

使用开源工具构建 DevOps Pipeline 的初学者指南