2021腾讯数字生态大会直播预约通道开启!技术内容大爆发,开发者必看! 了解详情
写点什么

专访腾讯云沙开波:从无到有,打造全球领先调度系统

2018 年 4 月 27 日

“以前每个周末都去跑跑步、打打球,现在回家就是接接小孩,随着年龄的增长,很多爱好都丢了。”

沙开波——腾讯云计算产品总监,从一名基础架构组的程序员,到如今腾讯云计算产品总监,这已是他在腾讯的第 9 个年头。

在腾讯云内部,他是著名的腾讯云大规模调度系统 VStation 的技术负责人,同事们喜欢称他“老沙”。

VStation 是腾讯云自主研发的革命性虚拟化平台,承载了腾讯云 CVM 后台的整体集群管理与系统调度。VStation 为腾讯云 CVM 业务的爆发式增长提供了坚实的技术基础,目前,单集群可以调度 10 万台计算机。

时间回到 2009 年,初入腾讯的沙开波,就职于腾讯 B2(Business2)研发部的基础架构组,也就是大家熟知的 QQ 空间、QQ 会员、Q 钻等业务基础架构组的一位程序员。沙开波表示:“2009 年 5 月份来到腾讯,那个时候还没有腾讯云这个业务。”

“我还是比较偏技术的,自己对技术这块也比较感兴趣,当一个技术难点被解决后,成就感会瞬间爆表,我觉得每个做技术的应该都有这样的感觉。”

从 2009 年对云尝试,到 2011 年正式投入,再到 2013 年正式开放,最后到今天的成果,沙开波是腾讯云成长的见证人,而伴随腾讯战略、腾讯云逐渐走向成熟,沙开波也逐渐从技术走向了管理。

自从他从技术走向管理,更大的精力是需要放在业务规划、整体技术架构、以及人才梯队建设、执行效率等上面。“虽然现在已经很少写代码,但是我并不担心淘汰或者落伍,最起码,现在同事问我一些技术层面问题,我还能解决,”老沙笑着说。

5 千节点是一道坎,10 万节点的技术难度可想而知

从技术转向管理,沙开波并不认为这是他技术人生的转折点。然而,当一个“吹毛求疵”的“技术宅”走上管理岗,会擦出什么样的火花?腾讯云分布式调度系统 VStation 的成绩足以说明。

“我们研究了国内外主要的大规模调度系统,不要说单集群 10 万,就是几千节点,一般的调度系统都很容易出现问题。”

大家熟悉的 OpenStack 项目就是如此。要管理 10 万级别的计算机这样大规模的调度系统,国内外没有任何已有的系统和资料可以参考。对于腾讯云来说,只有从零开始,而且要做就做到最好。

技术上,5000 节点是一道大的门槛, 业界知名的 Google、Amazon 云平台都遇到过大规模停机的事情,很多问题你是无法预料到的。只有经历大规模部署,有些问题才会出现,所以背后的技术难度可想而知。

“从开始决定做这个系统之后,我们就从各个技术小组抽调了 10 来个人,联合攻坚。前后 1-2 个月时间,就把系统做出来了,这个系统背后的每一条代码都是我们自己从无到有开发出来的。”沙开波介绍说。

“我的个性是这样的,只要有一个事情放在那个地方没有解决的话,就会白天想、晚上想。”按照沙开波的描述,出身技术的他本身就是一个技术狂,或者说是工作狂。通常情况下,一个任务布置下来,两个星期交付都没有问题,但沙开波却一定要尽可能两天把它搞出来,然后留更多的时间去完善。

“我们的目标是 5 秒创建虚拟机”,VStation 再进化

腾讯云分布式调度系统 VStation 通过消息压缩、镜像缓存、快照回滚等系列优化实践,实现了生产吞吐率从数百台 / 分钟到数万台 / 分钟、平均创建时间由 300 秒下降到 30 秒以下的惊人蜕变。

在谈到 VStation 升级问题时,沙开波非常兴奋,并表示腾讯云内部的目标“希望虚拟机在 5 秒到 10 秒之间就可以创建出来,并希望通过软硬结合的方式,降低虚拟化带来性能损耗的问题。”

从 30 秒降到 10 秒以内,对于技术来说又是一次质的飞跃。沙开波深知,这个计划如果完成,对于整个腾讯云技术来说,将是又一次洗礼,但是这个没有退路。

创建速度快,意味着用户体验更好。站在用户的立场,如果能够快速的帮助企业创建出来,这不仅仅是时间的问题,更多的是对用户业务上的帮助。“我们在团队里一直强调,我们做弹性计算,首先计算要能弹,能快速地去交付给用户,如果创建一个机器需要几分钟,一个小时才能拿到的话,这不叫云计算!”

关于创建速度的问题,沙开波直言不讳:“从目前来看,我们的创建速度非常有竞争力,即便和国内外更早布局云计算的公有云厂商对比,我们也有足够的自信。”

另外,云计算最开始考虑的是如何把计算或网络跟物理机解耦,其中虚拟化技术起到了关键的作用。但不可否认,云变成一个基础设施的时候,虚拟化虽占尽优势,但却增加了性能上的损耗,其中包括网络、存储等等。

而在采访中,沙开波也表示这也是腾讯云所关注的问题。“我们正在做一些软硬结合的工作,来降低虚拟化带来性能损耗的问题,不论是网络还是存储,我们最终目标还是弹性的计算,希望用户可以按需获得媲美物理计算资源的弹性云计算资源。”

用户是最好的“裁判员”,“靠近”才能明晰方向

2015 年,马化腾在给合作伙伴的一封信中提到:“一切以用户价值为依归,自始至终,用户、员工都是我们的两条生命线。”

而在沙开波的眼中,用户才是最好的“裁判员”,所有的技术升级和突破,归根结底就是要让技术普惠化,让技术为人所用。

不可否认的一条市场定律,“需求才是生产力”。或许正是沙开波想法的诠释。据了解,腾讯云产品的优先级是基于客户的需求来的,很多产品和技术都是来自于客户实际的想法以及真实的诉求。

另外,基于“以用户价值为依归”的理念,沙开波也正在带领团队走近用户。“今年从上到下希望离用户更近一点,也多跟客户去聊,了解客户的诉求和需求”。他透露这是 2018 年重点要去改变的方向。

正如沙开波口中“裁判员”的说法,一个产品团队产品做得好和不好,客户的评价往往是最中肯、实用的。在谈及工作中遇到的问题、以及如何解决问题的时候,沙开波描述了他们解决问题的思路。

“先去帮助客户去解决问题,虚心接受客户的吐槽,之后再优化产品。”

以这样的工作理念,沙开波在腾讯已经走过了 9 年的时间。目前,在沙开波眼中腾讯云还在不断“闯关升级”,但可以肯定的是,未来在千万个具备匠人精神的“沙开波”努力下,腾讯云将会更茁壮,为用户带来更多的价值。

2018 年 4 月 27 日 23:12742

评论

发布
暂无评论
发现更多内容

第八周作业总结

Geek_ce484f

极客大学架构师训练营

性能优化学习笔记

Yangjing

极客大学架构师训练营

国产大数据系统通过验收,”核高基”基础软件再下一城

陈泽云

人工智能 大数据 知识产权 操作系统

一篇文章搞懂 @weakify 和 @strongify

疯清扬

objective-c weak weakify strongify 循环引用

三步实现SSH免密登录Linux服务器

jiangling500

SSH 免密登录 Linux服务器

架构师训练营第八周作业

xs-geek

极客大学架构师训练营

架构师训练营第八周总结

xs-geek

极客大学架构师训练营

架构一期第八周作业

Airs

架构 2 期 - 第四周作业(1)

浮生一梦

极客大学架构师训练营 第四周作业 2组

架构师训练营第二期 Week 4 作业

bigxiang

极客大学架构师训练营

第四周-作业一

ray-arch

极客大学架构师训练营

网络模型及性能优化

天天向上

极客大学架构师训练营

第八周作业

Geek_ce484f

极客大学架构师训练营

第八周作业

Geek_ce484f

极客大学架构师训练营

第八周总结

睁眼看世界

极客大学架构师训练营

第八周学习总结

饭桶

《JavaScript高级程序设计》.pdf

田维常

Java 电子书

架构师训练营第二期 Week 4 总结

bigxiang

极客大学架构师训练营

匠心、携手、深耕:5G Capital展现出的无线产业新范式

脑极体

架构师训练营 - 第八周作业

一个节点

极客大学架构师训练营

架构训练营第四周课后作业

Sandman

极客大学架构师训练营

并发压力&响应时间&系统吞吐量

Yangjing

极客大学架构师训练营

还有人不知道JVM调优参数?一次性打包发给你

田维常

JVM jvm调优

第四周作业

Griffenliu

第四周学习总结

Griffenliu

架构师训练营第四周系统架构总结

Sandman

极客大学架构师训练营

第八周总结

orchid9

架构师训练营第 1 期 - 第八周作业

Todd-Lee

极客大学架构师训练营

典型互联网应用系统使用的技术方案和手段

jorden wang

第八周课后练习

饭桶

架构师训练营 - 第八周总结

一个节点

极客大学架构师训练营

英特尔On技术创新峰会

英特尔On技术创新峰会

专访腾讯云沙开波:从无到有,打造全球领先调度系统-InfoQ