写点什么

Nurse:LinkedIn 的运维自动化修复系统

  • 2015-08-03
  • 本文字数:1541 字

    阅读完需:约 5 分钟

目前,LinkedIn 已经成为全球最大的职业社交网站,其会员人数超过 3.6 亿。随着网站的迅速发展,其维护成本也不断增加,公司员工从几百人增加到数千人。为了维护网站能够正常运转和发展,LinkedIn 设置了一个专门的运维工程师团队,来充分了解网站的每个组件,并确保能够迅速解决网站的问题。然而,近些年网站遇到问题的数量增加了十几倍,使得人工解决问题越来越难。于是,LinkedIn 近期开发了自动修复系统—— Nurse
接下来,本文就 LinkedIn 的自动修复系统进行介绍。

LinkedIn 的网站可靠性工程师 Brian Cory Sherwin 表示,LinkedIn 之前都是采用人工手段来探测和解决网站运行中出现的问题。站点的稳定全都依靠工程师的双眼进行发现,然后利用双手进行手动。然而,从 2010 年到 2015 年,网站遇到问题的数量增加了 18 倍,而工程师数量却只增加了个位数。为了网站的稳定发展,LinkedIn 高层面临了一个重要选择——是相应的增加工程师数量还是设计一个自动的系统来完成大部分工作。当然,根据诸多网站发展的经验,LinkedIn 选择了后者。

作为开发自动修复系统的第一步,开发工程师们需要确定如何利用计算机算法来发现并解决问题。之前,LinkedIn 已经建立一个单独的监控系统。该系统包括了几十万个传感器,能够迅速发现网站异常,并向工程师们发出警告。然而,对于一个自动修复系统,只是发现问题肯定是远远不够的。该系统需要能够自行解决一些比较简单和常见的问题。只有对于无法自动解决的复杂问题,系统进行分类和简单分析后,将其提交给工程师解决。

那么,在发现一个问题之后,系统如何进行分析和解决呢?例如,对于一个具体的问题,基于现象的警告只能说明表相——服务器无法登陆或者应用掉线等。然而,其背后的原因可能多种多样,包括进程失效、服务器崩溃等等。在人工处理情况下,运维工程师会进一步详细分析这些现象,发掘出具体的原因,并相应的执行不同的修复步骤。自动修复系统采用了类似的处理方法。LinkedIn 团队把监控系统所发现的问题送到具体的请求工作流中。这些工作流再根据工程师之前内置的算法和动作来修复网站。以应用程序掉线为例,监控系统发现一台机器处于异常状态,无法服务数据流。之后,数据流会收集事件发生的原因、根据内置算法重启相关进程并把整个数据流的结果放置到卡片中。通过这些自动化的流程,工程师就可以避免把大量精力用在简单问题的处理上,从而把更多精力放置到复杂、深入问题方面的分析和研究中,保证网站长期健康发展。

此外,LinkedIn 已经把 Nurse 与其他系统进行了完美集成。在多个系统中间,Nurse 扮演着中间人的角色。监控系统会把修复工作流的请求发送到该 Nurse,进行问题修复。目前,LinkedIn 已经把代码部署系统、售票系统、远程执行系统等与 Nurse 集成在一起。而且,公司允许站点运维工程师和运维工程师把解决常见问题的方法放置到系统中,供系统自动学习。

在实际测试中,LinkedIn 已经证实了 Nurse 系统的用途。 Sherwin 表示,针对突然断电导致的大量服务器掉线的情况,Nurse 在数分钟即完成了服务器状态的恢复,执行速度大大优于人工解决的情况。而且,Nurse 目前每周会执行 150 个小时的修复工作流,大大节约了工程师的时间和精力。

未来,LinkedIn 会继续对 Nurse 进行改进。其考虑增加和完善的功能包括减少监控系统的资源消耗、减少从异常状态恢复的时间以及允许运维工程师更多的关注基于现象的警告等。而且,该系统为同类型公司和其他网站提供了一定的借鉴。相信未来会有更多的公司推出自动修复系统。


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-08-03 07:393143
用户头像

发布了 268 篇内容, 共 128.0 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

CDP技术系列(三):百万级QPS的人群命中服务接口性能优化指南

京东科技开发者

夏志刚介绍

管理在线

企业战略管理体系 企业精益管理体系 企业创新管理类体系 企业培训体系 企业标准化管理体系

Mac上超好用的鼠标平滑滚动增强工具:SmoothScroll

Rose

Mac软件 鼠标工具 SmoothScroll 平滑滚动

PD虚拟机系统镜像 原版纯净的Windows系统安装包

Rose

windows 11 pd虚拟机 win系统下载

CDP技术系列(二):ClickHouse+Bitmap实现海量数据标签及群体组合计算

京东科技开发者

有挑战才有收获!PaddleOCR算法模型挑战赛火热开启!

飞桨PaddlePaddle

人工智能 算法 大赛 百度飞桨 算法模型

权威媒体评选:2023年25个最佳开源软件

SEAL安全

开源 AI LLMs

光纤的跳线和尾纤

小齐写代码

融合创新:传统企业数字化转型的业务、战略、操作和文化变革

天津汇柏科技有限公司

数字化转型

BricsCAD 24 mac中文完美破解版(CAD建模软件) 支持M和 macOS Sonoma 14 附安装教程

Rose

BricsCAD 23中文版 cad bricscad 24 BricsCAD 24破解版 BricsCAD 24下载

用Python实现高效数据记录!Web自动化技术助你告别重复劳动!

测试人

软件测试

华为云云绘本第2期:面对等保三级,谁还在瞎折腾?

华为云PaaS服务小智

软件开发 华为云

基于Express的微信公众号开发

派大星

Express 微信公众号开发

mac系统u盘启动盘制作教程,更新至macOS Sonoma 14

Rose

mac系统

K8s集群CoreDNS监控告警最佳实践

华为云开发者联盟

开发 华为云 k8s集群 华为云开发者联盟

【Linux技术专题】「夯实基本功系列」带你一同学习和实践操作Linux服务器必学的Shell指令(排查问题指令 - 下)

码界西柚

Linux 日志处理 Shell指令 查询日志 2024年第二十篇文章

一篇全掌握!TDengine 在能源、电力、汽车、物流、工业制造等十大行业应用合集

TDengine

tdengine 时序数据库

Wireshark网络工具是什么?

小齐写代码

CDP技术系列(一):使用bitmap存储数十亿用户ID的标签或群体

京东科技开发者

uniapp+unicloud开发一个网页端,小程序端,APP端,桌面端的博客CMS系统——万能的三三

万能的三三

JavaScript 小程序 uni-app CMS 博客

数值计算: 精度、溢出、舍入

西格玛

左耳听风 - 时间管理「读书打卡 day 15」

Java 工程师蔡姬

读书笔记 程序员 个人成长 时间管理 职业发展

2024-01-24:用go语言,已知一个n*n的01矩阵, 只能通过通过行交换、或者列交换的方式调整矩阵, 判断这个矩阵的对角线是否能全为1,如果能返回true,不能返回false。 我们升级一下:

福大大架构师每日一题

福大大架构师每日一题

什么是网络地址转换协议

郑州埃文科技

数仓如何递归查询视图依赖

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 华为云GaussDB(DWS)

Nurse:LinkedIn的运维自动化修复系统_语言 & 开发_张天雷_InfoQ精选文章