写点什么

QCon 演讲速递:异步处理在分布式系统中的优化作用

  • 2015-04-23
  • 本文字数:3642 字

    阅读完需:约 12 分钟

本文根据阿里巴巴技术保障研究员赵海平在 2015 年 QCon 全球软件开发大会(北京站)主题演讲整理而成。

赵海平在 Facebook 工作 8 年期间,主要针对后端进行性能优化的工作,包括 PHP 的优化,memcache 的优化,等等后端组件。偶然有机会跟阿里的朋友沟通他们遇到的问题,聊得比较深入,就发现虽然阿里是用 Java 的,但在大的系统优化方面遇到的问题,跟 Facebook 是很类似的,因此回国加入阿里,希望帮助阿里把整个系统优化得更好。计划第一步是先做整体的 profiling 系统,以找到性能的局部优化点;之后再进行一些大的架构优化,以及深入到 JVM 层面的优化。

回国跟很多人沟通,感觉现在到了 2015 年,国内的朋友们基本上也都对分布式系统的架构相当了解了。今天的演讲就一个主题,就是分布式系统中异步处理的优化。

单机时代的数据请求

十五年前写软件是很简单的,一个 Client 对应一个 DB Server,或者多个 Client 对应一个 DB Server,每一个 Client 执行各自的服务。当时的讨论很多是说,这个东西要写在 Client 端还是写在 DB Server 端,流行的思路有两种:

  1. 把 DB Server 写得很复杂,比如 Oracle 数据库,而 Client 端则写得很简单,只有调用返回
  2. DB 很简单,只有简单的表,而 Client 写得复杂。很多创业公司会这样做,因为他们对 SQL 不是很熟悉,但是很熟悉 PHP。早期 Facebook 就是典型的代表

大数据时代的数据请求

单机时代随着两个趋势而逐渐成为历史。一个趋势是随着互联网的流行,越来越多的人开始上网使用 Web 服务,而且很多时候用户增长速度是非常快的,结果造成一台 DB Server 无法储存下所有用户的数据。第二个趋势是计算机能力越来越强,网络服务针对每一个用户要做的事情也变多了,比如 Facebook 不仅要保存一个用户的个人信息,还有他的关系链信息,他的使用习惯、点击习惯等,就造成一个用户的数据量也大大增加,仅仅访问一个 DB Server 就准备好一个页面变成了不可能的事情。

这就带来了一个问题:针对多个 DB Server 的程序应该怎么写?

针对这个问题也有两个思路:

  1. 串行同步。先 query DB1,返回 res1,再使用 res1 做另一个 DB 的 query,返回 res2。这是在第二个 Query 依赖第一个 Query 结果的情况
  2. 并行同步。针对 DB1 的 query 跟针对 DB2 的 query 同步进行。这是两个 Query 之间没有依赖关系的情况。Facebook 早期专门写了一个并行处理的函数,用法是 ExecParallelQuery(conn1,Query1,conn2,Query2)

这个时候的代码就比以前的代码更加复杂了,不过还是能实现需要实现的需求。但这时候带来了一个新的问题,就是等待。一个页面的加载可能需要调用不同的函数,而不同的函数可能是由不同的团队写的。比如获取朋友关系的函数 getFriends 把自己需要的数据用同步的方式获取了,但如果一个第三方开发者过来,则不仅要调用这个函数,还需要调用其他函数,这样其他函数的执行就需要等待前面这个 getFriends 函数返回了结果之后才能开始执行,就很慢了。

要如何做到并行处理在代码层面很直观,在机器上的执行效率又好呢?

异步的处理思路就是这么来的。

所谓异步就是,我这个函数知道这里需要访问哪几个 DB Server,但我先不着急去访问,而是先记录一下,等等看其他函数是不是也要访问这个 DB,如果有的话,待会儿再一起去访问。异步处理的指令比如说是 conn.asyncExec(Query) ,这个可以立刻返回一个 Future 对象,意思就是“待会儿再去执行”。如果每个函数都返回这种 Future 对象,那么就可以根据这些 Future 对象来判断哪些请求没有依赖可以并行处理,哪些请求有依赖需要串行处理了。如此,不同的团队写出来的函数就不用一个等一个,而是可以在更高层面上互相合作。

然而这又带来了一个问题,那就是异步处理的写法是具有传染性的。如果一个服务中有的函数写的异步,有的函数没写异步,就会造成有的函数返回了 Future Object,有的函数返回了数值,导致无法执行。要实现异步,需要关联的所有函数都用异步的写法返回 Future Object 才可以。

所以 Facebook 在转向异步处理的过程是非常痛苦的,一开始做了局部修改,再修改调用了局部修改过的函数的函数,所有调用的调用都要修改,最后全部改成了异步,只要有调用远程服务 IO 的操作都要改。每一个 DB Query 都拆分成两步,一个 set request,一个 receive response。这里的工作量很大,所以如果创业团队的话,最好是第一天就用正确的写法,就不会这么痛苦。

所有函数改写后,每一个函数执行都会返回 Future Object。那么异步处理的第一步,就是将这些 Future Object 形成一棵依赖树的结构,好像这样:

这里每个节点都是一个 Future 对象,每一个 Future 对象有两种状态,一个是等待执行,一个是完成执行。同级的节点是没有依赖关系的,可以并行执行;上下节点是有依赖关系的,需要串行执行,先执行下层再执行上层。

树结构形成后,从下到上执行,直到最上面的 top parent 节点被执行进入完成执行的状态,就是完成,比如一个页面加载完毕。

所以异步处理之后有一个很有意思的情况,那就是 PHP 这个语言已经跟以前不同了,不再是一上来就是执行,而是一上来先 lazy 一下,看清楚所有的 Query 之后再执行。

异步处理还需要解决的问题

到目前为止,这样做异步处理似乎已经是足够好的优化,但实际上还有问题。看看下面这个例子。

比如我们现在有两个查询需求。一个是查询你在淘宝上买过东西的朋友,另一个是查询你在淘宝上买过保时捷的朋友。常理来说,我们会先想到查询你在淘宝上的朋友,再进行另一个条件的查询,比如这样:

复制代码
IdList friends = waitFor(getFriends(myId));
yield return getTaoBaoBuyers(friends);

但是对于保时捷这个查询而言,这是不对的,因为淘宝上买保时捷的人是很少的,可能就一两个,而淘宝上的好友数可能有上百。因此保时捷的查询应该是这个次序比较优化:

复制代码
IdList buyers = waitFor(getPorscheBuyer());
yield return getFriends(buyers);

这个次序应该如何决定?实际上不应该在写程序的时候决定,因为写程序的时候是无法避免有先后顺序的——编辑器只能一行一行的写代码,但是机器执行却无需管这个。所以更好的方法应该是在执行代码之前再加入一个 phase。

其实传统数据库的 cardinality(基数)功能已经解决了这个问题。你在 DB query 里面使用 INNER JOIN 这个指令,其实 DB 已经能够预判哪一个表给出的 row 会比较少,从而以更优化的次序去执行。但现在我们用的编程语言,无论是 PHP,Java,Python 还是 C/C++,并没有考虑这个问题。有人会开很多线程来解决这个问题,但这不是最佳方案,因为在 Linux 系统里,你的线程数要是上了 200-300,就会有很大的 overhead。

代码执行的次序,这是一个。另外最近几年还有一个流行的优化思路,就是上 memcache。我们有时候会看到程序员把他自己的函数放进了 memcache,相当于是依赖树的中间的一个节点,我就问他为什么要把他这个 Class 放入 memcache,他可能会说,他觉得这个节点和这个节点的 child 被调用的次数多。我觉得这可能不是特别理想的。你今天觉得这个 Class 被调用的多,可以放进 memcache,但明天是不是会有更重要的 Class 会更值得放进 memcache,于是你又要把 memcache 的资源让给这个新的 Class?如果你放入 memcache 的 Class 并不是最重要的,这就相当于真正优化的可能性被拿走了。

如何让异步执行的更好?

哪个 query 先执行,哪个 query 后执行,不应该是在编码阶段来做的。哪个 Class 该进 memcache,哪个 Class 该出 memcache,也不应该在编码阶段来做。应该有一个中间的阶段,专门进行这种调度工作,然而到目前为止,还没有公司能够做到,因为没有合适的语言。

异步处理在分布式系统中怎样做有更好的优化作用,我们需要更多的思考。希望大家能够把计算机当作科学去思考,而不仅仅是工程应用。我们现在看十几年前,对单机是非常了解了,那么未来过了五年十年再回来看,可能对分布式系统也会了解的比现在更多很多,可能给分布式系统写程序也会变得跟给单机写程序一样简单。当然这就需要更合适的工具语言去给大家提供这种异步的便利。是不是会有 Haskell 那样 lazy 的方式从系统层面解决这个问题?希望跟大家一起思考探讨。

讲师简介

赵海平,阿里巴巴技术保障研究员,从小酷爱编程,多次获得中学生计算机竞赛的各种奖项,1987 年以河北省高考状元的优异成绩进入北京大学生物系,又在美国纽约大学获得分子生物学硕士,其后放弃博士学位,进入普林斯顿获得计算机科学硕士,曾就职于微软公司。2007 年加入只有不到 50 个软件工程师的 Facebook,致力于软件性能和架构分析,在此期间创建了 HipHop 项目,重新编写和实现 PHP 语言,使其速度提高 5 到 6 倍,为公司节约数十亿美元。HipHop 项目之后,致力于“用异步处理来优化分布式系统”的设计理念中,并为此做了多项分布式数据库的优化研究,在 PHP 语言中加入了 yield 和 generator 的新功能,来帮助日趋复杂的 Facebook 网页设计。2015 年 3 月回国,加入阿里巴巴技术保障部,将重点攻克阿里在软件性能以及 Java 使用过程中遇到的技术问题。

演讲 slides 下载地址

2015-04-23 07:389180

评论 1 条评论

发布
用户头像
2018-11-15 16:22
回复
没有更多了
发现更多内容

干掉 Postman?测试接口直接生成API文档,这个工具贼好用

程序员小富

Java 编程 程序员 开发工具 大学生

从Encoder-Decoder模型入手,探索语境偏移解决之道

华为云开发者联盟

神经网络 ASR 语境偏移 CLAS ASR模型

PHA挖矿|PHA云算力挖矿系统开发案例

Geek_23f0c3

区块链 云算力挖矿系统开发详解 PHA矿机挖矿

电脑有什么超简单的录屏方法

淋雨

视频剪辑 Camtasia 录屏软件

事件Event:带你体验鸿蒙轻内核中一对多、多对多任务同步

华为云开发者联盟

鸿蒙 任务 OpenHarmony 事件 LiteOS-M

了解一下缓存分类、更新、清理策略以及如何处理缓存带来的风险

Jokay

缓存 缓存穿透 缓存击穿 缓存雪崩 缓存设计

Ubuntu Server 20.04搭建Redis集群

玏佾

redis redis集群 搭建 redis cluster

HarmonyOS Connect伙伴峰会重庆站举办 生态建设持续完善

科技汇

华为首次发布HarmonyOS职业认证,助力开发者实现职业进阶

科技汇

MySql 通过定义变量更新多表

Flychen

【从零开始学爬虫】采集京东商品信息

前嗅大数据

大数据 爬虫 数据采集 采集商城 采集京东

面试官:order by 是怎样排序的?怎么优化?

一个优秀的废人

Java MySQL 数据库 后端 order by

国内首发!阿里高工手码分布式系统速成笔记!

Java 编程 程序员

商业智能BI,会成为下一个风口吗?

瓴羊企业智能服务

阿里云 数据中台 数据分析 BI 商业智能

Gemini Mining双子矿业系统APP开发模板

Redis on AEP 实践

BUG侦探

redis 傲腾AEP

阿里云低延时直播 RTS 能力升级 让直播推流效果更佳

阿里云CloudImagine

阿里云 音视频 直播技术 视频云

深度解析HashMap底层实现架构

华为云开发者联盟

Java hashmap 底层 底层架构 Map接口

喜讯:恒拓高科荣获“2020年度华侨城集团优秀数字化服务商”称号

BeeWorks

开源 解决方案 即时通讯 开源软件

华为云GaussDB(for openGauss)推出重磅内核新特性

华为云开发者联盟

高可用 华为云 内核 GaussDB(for openGauss) 存储引擎

10分钟理解REACT概念

加百利

React 7月日更

我可以减肥失败,但我的 Docker 镜像一定要瘦身成功!

尔达Erda

Docker 开源 云原生 镜像 瘦身

名列GitHub必看榜!腾讯架构师纯手敲Spring Boot高级进阶笔记

Java架构追梦

Java 架构 腾讯 面试 springboot

优评海洋APP系统开发模板

ZooKeeper 分布式锁 Curator 源码 01:可重入锁

程序员小航

zookeeper 源码 分布式锁 curator

视觉生产技术入门篇

若尘

视觉 7月日更

北鲲云超算与传统的超算中心有什么不同?

北鲲云

BTAU比特金盾系统软件开发内容

网络攻防学习笔记 Day76

穿过生命散发芬芳

网络攻防 7月日更

科创人|决策易赵祝维:从满足应用需求到服务业务目标,从SaaS服务商到业务合作伙伴

科创人

WorkPlus综合企业数字化解决方案—华侨城

BeeWorks

企业 移动开 开源软件

QCon演讲速递:异步处理在分布式系统中的优化作用_Java_sai_InfoQ精选文章