写点什么

从 HBase 主席到神策首席架构师,张铎如何面对 ToC 到 ToB 的架构挑战

  • 2023-02-23
    北京
  • 本文字数:3928 字

    阅读完需:约 13 分钟

从HBase主席到神策首席架构师,张铎如何面对ToC到ToB的架构挑战

在翻朋友圈的时候,看到张铎老师去年策划的 Apache Pegasus Meetup 活动,然后我给他留言,邀请他来 ArchSummit 全球架构师峰会北京站上分享架构师的成长经验,结果他很爽快的答应了。


张铎 2015 至今历任 Apache HBase 项目的 Committer、PMC 成员、主席。2020 年成为 Apache 软件基金会的 Member。2018 年,在 Apache 软件基金会全球近 7000 名 Committer 中,贡献数量排名第三。曾任小米开源委员会主席。张铎在小米待了 5 年多后,于 2021 年 4 月进入神策数据,用他自己的话说,在大公司卷不动了,就换个小公司试试。


在神策数据,张铎担任神策数据基础研发部负责人 & 首席架构师,主要负责整个基础研发部,大部分的精力用在团队管理,和研发技术选型上。


从 ToC 到 ToB 服务行业感受到的差异


张铎说,他来神策数据是有准备的,尤其是在私有化部署这方面,这和他之前的工作内容差别很明显。之前在互联网大公司所有的倾向都是要搞一个巨大的集群,所有人都需要用这同一个集群,集群越大,公摊的东西就越小,就越省成本。而拆的集群越多,相当于固定损耗部分越多,成本就越高。他会在 3 月 18 日 ArchSummit 全球架构师峰会北京站上重点讲这部分的内容(演讲详情:https://archsummit.infoq.cn/202303/beijing/presentation/5073


在搭建大集群的情况下技术挑战是很多的,面对几千上万台机器,一个中控节点就有可能变成瓶颈了。而对于神策数据的情况,私有化部署是业务模式上的必然选择,并且会采购神策数据的客户,通常是不会有需要单独搭巨大集群的业务需求的,因为有这个需求且能负担起的公司,自己的技术能力也很强,通常数据分析系统就不会外采了。来神策数据之后,张铎就知道面对的形态是一大片小集群,相对应地技术挑战也变了,不再是每天上千亿的 QPS 情况,反而是部署在客户端的小集群环境是否能足够稳定,各类监控指标和报警体系是否足够完善,处理效率是否足够高。在这些方面做不好,那维护大量小集群的成本会变得巨高无比。


张铎来神策数据之后,做的第一件事就是跟所有团队说,一定要先把监控报警进一步完善起来,更详细了解系统的运行状况,第一时间知道问题出在哪,同时也能帮助神策数据的技术人员更好地知道系统运行的状况。


在 ToB 私有化部署的行业,张铎说,让你惊讶的地方还很多,例如把集群部署在客户那里,客户什么时候用,用的好不好是很难第一时间了解到的。曾经就有集群部署一年了,客户从来没用过。这不像在互联网公司,应用上线后随时能看到真实的数据。ToB 行业的客户类型多种多样,这就是业务常态。


为了更好地了解客户场景需求,神策数据内部提了一个 SDAF 数据闭环方法论,具体指 Sense、Decision、Action、Feedback,通过客户数据来做一个决定,决定之后会做出一些具体的动作,动作会反馈新的数据回来,再做新的优化,相当于一个闭环。


对数字化的理解


这次去采访张铎老师,进入神策数据的大门,就看到正对大门的墙上写着“帮助中国企业实现数字化经营”。怎么理解数字化?张铎认为数字化转型最主要的目的是帮助客户提高效率。经济增速在慢慢下降,劳动力人口也在下降,这种情况下所谓数字化转型,其实就是要慢慢做精细化管理,去挖掘数据价值。


 

神策数据一直在做用户行为分析,实现更精准的用户运营决策,目前也做得较为领先。而数字化营销是一个更广阔的的市场,需要深入到行业中,如零售行业、金融行业等,去真正了解他们复杂的业务场景,甚至是帮助传统企业去挖掘他自己都不知道的数据价值。


私有化部署的难度和挑战


张铎说,至少在国内目前这个情况下,你想做 ToB 业务,是绕不开私有化部署的。神策数据曾经遇到一个国企大客户,要求部署在阿里云上,大家还很奇怪什么国企不私有化而愿意上云,又进一步了解发现这个客户自己私有化部署了一套阿里云。有很多头疼的需求。即使海外现在很流行 SaaS 服务、订阅制,但在国内想做生意,私有化部署是逃不开的。


私有化部署单纯的从常规技术方面来看挑战没那么大。但从业务方面来考虑,搭一大堆小集群的运维成本会高到无法接受。所以最终的挑战在于怎么能用有限的人力把这么多集群管理起来。尤其是现在很多小客户就 5 万、10 万的预算,最后包括售后成本,算下来在商业上肯定是亏的。对于架构师的挑战主要就是怎么能把维护成本降下来。


业务架构思维


关于架构师的业务思维,张铎说,大部分的架构师业务 sense 都是很好的,这里他举了一个例子,从搜狗过来的架构师,思路转变的很快。神策数据的 SCMS(内容管理,可以通俗的认为就是帮客户管理素材,快速实现一个活动页面,比如大转盘抽奖等等)业务需要一个对象存储来保存和访问素材,在互联网公司选一家云就好,但在神策数据显然不一样。这个搜狗来的资深架构师很自然的对架构做了调整,在评审时要求业务团队一定要注意多云的适配,并且给出了合理的抽象层次和接口建议等等,并且考虑到甚至有客户会买商用的对象存储服务自己搭,一定不要轻易就加需求,万一遇到一个商用对象存储没有的功能就抓瞎了。


其实好的架构师,不管你到哪,手里拿的锤子是一样的,掌握的技术是一样的,关键看你怎么用。在神策数据做私有化部署和在互联网公司做高并发架构,它只是约束场景,条件变了,搭出来的架构样子就变了,但底层用的技术是比较类似的。


所以说,好的架构师知道底层有哪些技术,到了一个不同的环境之后,用不同的方式把这些技术拼起来。张铎也会在 3 月 18 日 ArchSummit全球架构师峰会北京站)上的演讲中,提到架构师变与不变的话题。因为从大的层面来说,不管是什么行业,所有的人类社会发展过程中,分工会越来越细,专业性会越来越强。从公司层面来看,肯定需要那些在某些方向上钻很深的,专业性比较强的研发人员。而好的架构师除了在某个方向上钻研之外,还需要有更广义的知识面,职位越高,就需要对业务越了解。


张铎也会参加公司的管理层会议,通过会议能了解公司现在业务发展大概方向是什么,这样才能明确技术该做什么,不可能脱离业务去安排技术工作。


对待开源的态度——务实


张铎作为开源圈的 KOL,加入到神策数据后,也很清楚的认识到,神策数据在开源上不可能像大公司一样投大量的资源做贡献,小公司目前主要还是先解决业务上的问题为主。


这种情况下,张铎平时也会给公司里的技术人讲一讲开源文化之类的内容,也鼓励大家在业余时间贡献一些代码,并提供帮助。更重要的是说清楚不要老想着自己造轮子。此外呢,还会在内部普及一些开源的基础知识,比如哪些 License 能用哪些不能用,在用的时候有哪些注意事项等等。


总体上来说还是比较实用主义的,即便一个小公司,他只是在用开源,往回贡献的代码不多,但至少它遵守 License 在使用,这其实也是在做贡献,因为使用的过程也是在帮忙做宣传。小公司根据自己的实际情况来,只要合理合规使用,不需要有什么心理压力或者道德负担。


团队管理最好的方法——真诚


用张铎自己的话来说,管理基础技术架构部是一件比较纯粹的事,和管理业务部门有一些区别,例如业务部门的负责人可以不懂技术,只要懂管理就行,把研发节奏、资源都安排好,团队往前做就行了。但基础架构部通常不是按照业务方向来划分,而是按照技术方向划分的,像云计算部门,存储部门,中间件部门,几乎所有公司基础架构部都是这样划分的。所以在这种情况下,最顶层的那个人如果完全不懂技术,是很难管理这样的团队的,可能那些技术大牛都懒得听你的,你也根本指挥不动,就算他糊弄你,你也听不出来。


所以,越是基础技术部门的管理者越需要懂技术,一方面在技术问题上可以和团队沟通,可以互相听懂,同时也需要能在一定程度上判断项目的风险和周期,更合理的做出决策。


那作为技术管理者,如何保持自己的技术敏感度,不断的提升自己的技术能力,张铎说他加入神策数据之初,面临的主要挑战是 OLAP 引擎方面的技术难题,因为之前没接触过,但这难不倒搞编译器出身的张铎,在他看来,底层的技术本质上差距不太大。底层技术的存储、大数据、云原生这些也都是很了解。平时在公司写的代码不会很多,但是开源的 HBase 里的代码平时还在写,也是为了保持对代码的感觉。


正如张铎在开源使用上的务实态度一样,在技术团队管理上,张铎的管理方法还是一味的真诚朴实,到新的团队,尊重大家,静静地听大家讲目前团队的问题,然后会挑一个大家都认为是问题同时也比较快能出成绩的点,自己上手把这个问题解决掉,建立信任。随后会和团队的主要骨干再深入沟通一遍,一起列出团队的重点工作和目标,确保在几个关键点上都能出成果。这个做到了,大家通常都很高兴,后面你再想根据自己的想法做一些调整,就比较好办了。总体上没什么很复杂的很深的套路,就是初期一定要自己冲在前面,并且始终把成事放在第一位。

嘉宾介绍

张铎,神策数据基础研发部负责人 & 首席架构师。


清华大学计算机科学与技术系本硕,长期从事开源软件的开发与维护。2015 至今历任 Apache HBase 项目的 Committer、PMC 成员、主席。2020 年成为 Apache 软件基金会的 Member。2018 年,在 Apache 软件基金会全球近 7000 名 Committer 中,贡献数量排名第三。曾任小米开源委员会主席,负责小米整体开源工作的规划与推进。

活动推荐

3 月 17 日-18 日,ArchSummit 全球架构师峰会(北京站)即将落地。来自百度、京东、华为、腾讯、斗鱼、中国信通院等企业与学术界的技术专家,将就数字化业务架构、低代码实践、国产化替代方案、分布式架构等主题展开分享讨论。


目前已上线数字化场景下的业务架构、国产软件优化迭代之路、软件质量保障、高并发架构实现、架构师成长与团队搭建落地实践、大数据和人工智能融合、大规模微服务架构演进、可观测技术落地、云原生大数据实践等多个专题,点击阅读原文去官网查看大会日程。


会期临近,门票即将售罄,购票或咨询其他问题请联系票务同学:15600537884(微信同电话)



2023-02-23 11:296520

评论

发布
暂无评论
发现更多内容

Keka软件下载 压缩和解压缩软件 Keka mac v1.3.3中文激活版

mac

解压缩软件 苹果mac Windows软件 Keka

马斯克警告威胁,奥特曼自请监管,小扎呼吁开源丨RTE开发者日报 Vol.49

声网

软件测试/测试开发丨Web自动化—headless无头浏览器 学习笔记

测试人

软件测试

GaussDB(DWS)性能调优:Sort+Groupagg聚集引起的性能瓶颈案例

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号9月PK榜

AI已经改变游戏规则,新环境下如何用好这一新利器,提升开发团队的生产力

龙智—DevSecOps解决方案

Stream流处理快速上手最佳实践 | 京东物流技术团队

京东科技开发者

京东云 企业号9月PK榜

《孤注一掷》揭露你我身边的网络安全威胁

云起无垠

实力!云起无垠获评清华校友三创大赛“天使组”十强

云起无垠

华为云盘古大模型加码生物医药,为行业插上“数字翅膀”

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 华为云盘古大模型 企业号9月PK榜

Kafka如何修改分区Leader

石臻臻的杂货铺

kafka

行云管家全面适配信创国产化平台

行云管家

云计算 信创 国产化 安全运维

QCA9890-MU-MIMO- and QCA9880-MIMO-different wireless communication standards

wifi6-yiyi

MU-MIMO MIMO

Enhancer-轻量化的字节码增强组件包

得物技术

aop 字节码增强 性能监控 轻量级 企业号9月PK榜

多链代币开发数字货币开发相关介绍

区块链软件开发推广运营

交易所开发 数字藏品开发 dapp开发 NFT开发 区块链开发链游开发

文心一言 VS 讯飞星火 VS chatgpt (92)-- 算法导论8.3 5题

福大大架构师每日一题

福大大架构师每日一题

Footprint Analytics 宣布与 GameFi 平台 Game Verse 达成合作

Footprint Analytics

区块链

开箱即⽤!HashData 云数仓上线华为蓝鲸应⽤商城

酷克数据HashData

软件测试/测试开发丨web自动化——cypress测试框架

测试人

软件测试 Cypress

Mac电脑硬盘检测 SMART Utility for mac激活最新

mac大玩家j

Mac软件 硬盘检测 检测硬盘

WorkPlus | 好用、专业、安全的局域网即时通讯及协同办公平台

WorkPlus

从好玩到好用:程序员用AI提效的那些事儿 | 京东云技术团队

京东科技开发者

AI 京东云 ChatGPT 企业号9月PK榜

多主架构:VLDB技术论文《Taurus MM: bringing multi-master to the cloud》解读

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号9月PK榜

【云资讯】行云管家-云计算服务商佼佼者

行云管家

云计算 云管理 云计算运维 云服务商

【kafka源码】/log_dir_event_notification的LogDir脱机事件通知

石臻臻的杂货铺

kafka

又一重磅利好来袭!Zebec Payroll 集成至 Nautilus Chain 主网

西柚子

企业网盘 VS 大文件传输, 哪个才是企业传输的正确选择?

镭速

大文件传输 大文件传输工具

团队绩效考核,OKR还是KPI?

老张

OKR KPI 绩效考核

汽车行业解决方案 | 龙智总经理杨林晶作客ACT汽车电子与软件技术周,并接受专访

龙智—DevSecOps解决方案

java中有哪些并发的List?只知道一种的就太逊了

程序那些事

Java 程序那些事 面试秘籍

从HBase主席到神策首席架构师,张铎如何面对ToC到ToB的架构挑战_架构_Xue Liang_InfoQ精选文章