2021 年 4 月 22 日(原定 2021 年 1 月 8 日,疫情延后),由极客邦科技旗下 InfoQ 中国主办的QCon全球软件开发大会·北京站即将到来。届时,来自于华为,百度,腾讯,阿里,美团等一线互联网企业的近百位技术团队负责人,架构师,工程总监等人员,将亲临大会现场,围绕业务架构布局,微服务,人工智能,云计算,AIOps 等热门技术领域,分享最一线的技术创新与实践,为参会者带来一场精彩纷呈的顶尖技术知识大餐。
大会召开前期,InfoQ 记者特别采访了本场大会 13 个专题之————《大数据实时计算与分析》专题出品人杨传辉先生,就专题设置,实时计算最新技术趋势,未来行业发展方向等方面的话题,与杨传辉先生进行了采访交流。
作为蚂蚁集团资深总监、OceanBase 研发总经理,杨传辉个人长期全面负责 OceanBase 研发工作,其曾主导了 OceanBase 技术架构设计,实现分布式数据库在核心金融场景零的突破,完成蚂蚁集团核心数据库 100% 上 OceanBase 。
在经历了离线计算,实时计算等技术的交替之后,大数据计算技术仍在不断发展进步过程中,整个生态领域也正在不断的走向成熟。接下来,大数据计算的未来在哪里?方向又将会是什么呢?在杨传辉看来,实时计算与分析作为当下最热门的技术领域,其未来走向朝着智能化,与产业运用深度融合等方向进一步发展。
实际上,在结束了上半场的互联网化产业发展浪潮之后,伴随着下半场产业互联网热潮的袭来,大批量属于程序员们的机会正在涌现。只是在这一过程中,由于产业互联网更加的专家 IT 技术与垂直行业的结合,这必须迈入产业互联网下半场的 IT 技术研发人员在掌握了技术之外,还需要对垂直行业的业务有更加深刻的理解能力。
“进入产业互联网时代,我更希望技术人员们能静下心来将自己的专业领域技能做扎实了,形成自己的杀手锏,然后再想其他方向的可能。”杨传辉建议即将参加 QCon 大会的观众他们一定要能沉得住气,通过不断磨练打造自己的技术硬实力,进一步提升个人的行业竞争力。
更多有关于杨传辉个人,大数据实时计算与分析最新技术趋势,行业未来等话题,以下 QA 内容将带来更为详尽的解读。
数据计算技术预测新趋势:实时,智能,产业化
InfoQ:作为本次大会《大数据实时计算与分析》专题的出品人,你为什么会选择规划这样的一个专题?出于某些方面的考虑?
杨传辉:大数据计算经历了离线计算、实时计算的替代,还在不断成长成熟,目前整个生态领域都得到了很大的发展我们看到,基于分析的大数据计算平台,在各大公司正发挥着越来越重要的基础设施的作用。
在主题设置方面,相对于去年 QCon 全球软件开发大会上讲了流计算方面的内容,今年我们会更加的侧重于分享实时计算和分析方面的内容,重点介绍如何从海量的存储数据中抽取并挖掘出来一流的信息,希望通过介绍大数据实时计算和分析领域的最新趋势和最佳实践,来为公司和行业提供更智能的服务和决策。
在讲师邀请方面,我们主要邀请了阿里巴巴、百度、腾讯、蚂蚁集团的四位专家,他们都是在实时分析、大数据领域最领先的企业内部最顶尖的技术负责人,由他们来分享最新的技术实践,这是非常有价值的。
InfoQ:实时计算之后,大数据计算下一步的发展方向会是怎样的?有哪些新的发展趋势?
杨传辉:大数据计算新的发展趋势我觉得主要有三个:实时化、智能化、产业化。
首先,实时计算的运用目前已经很普遍了,我们这次主要讲的实时分析与上一次 QCon 探讨的流计算,本质上都是可以囊括到实时计算这一个大的方向下,实时计算是一个大的趋势。
另外一个趋势就是智能化,也就是跟 AI 结合。伴随着我们的数据量越来越大,哪些数据是最有价值的?哪些数据是对业务发展比较有效的?这些都是用户越来越关心的,通过一些机器学习的算法,能够从里面分析总结出一些规律来优化我们的业务,这就是智能。营销人员可以通过业务实时分析来优化它的广告投放,优化微信公众号的运营,这些都是被讨论得特别多的方向,而且确实也真正能够产生价值的地方。
此外,这些实时化、智能化的手段如何与真正的场景产生结合,发挥出价值,我觉得下一步就是产业化,也就是这些技术如何与传统行业的真实场景产生更多结合的过程。
以前大数据很多是在互联网公司里面去做,支持互联网公司自身的业务,那么以后,大数据如何运用云计算等软件输出的方式,去赋能到传统的行业中去,去实现产业互联网的实时化、智能化。不再仅仅局限于互联网公司的智能化,这是一个非常明显的趋势。
InfoQ:刚您提到了产业互联网,在进入下半场的产业互联网时代,程序员除了去做这种跟行业相结合的业务之外,还有哪些值得重点关注的方向?
杨传辉:产业互联网本质上就是我们怎么把互联网的技术应用到传统行业当中,或者说是我们怎么把互联网跟传统行业结合在一起。这其中,最容易结合的一个东西就是技术。在我看来,产业互联网最大的机会就是云,云首先它改变了整个软件行业的商业模式,同时它也代表着未来的一个趋势,而且云上也可以包含着一些智能化的技术或者方案,这跟产业是比较容易接在一起的。
从 IaaS 层来看,云计算可能更多的属于大型互联网企业的机会,但是到了 SaaS 层,其实这些领域与行业的结合会更加的紧密,相对也会更加的垂直化,因此对于创业公司来说,整体的机会会更多。
以数据为例,目前整个数据库行业都在往分布式去转型,而且对于实时、流、时序、地理等不同类型的数据,如何做这些数据的存储、计算以及价值提取,这中间都有非常大的机会,如果再加上现在国产化的这样一个趋势,这其中的机会又会被进一步的放大。
未来 10 年,我觉得中国技术类的创业公司很多都能获得成功。
InfoQ:大数据计算实时化、智能化、产业化的趋势正在加剧,未来的机会很多,但挑战也不少,你觉得未来最大的挑战会是什么?
挑战还是很多的,就专题提及的实时计算来看,未来数据分析的效率如何提升?资源开销如何计算?扩展能力如何体现等?整体都面临着各种各样的挑战。对于更广义的技术层面挑战而言,如何满足客户“多、快、好、省”等方面的需求,每一个环节都面临着很多的挑战。
一个技术,首先要足够快,操作效率要高;其次要很省资源,能够节省成本;然后是存储的数据量、数据类型要多,能够分析各种数据;最后,最好还能有一些比较智能的手段来进行操作,便于使用。对应着“多、快、好、省”的每一个需求点,你如何去设计你的程序架构、功能单元、接口模型以及落地方案等,过程中都会面临着各种各样的挑战。
追风口的时代过去了,互联网下半场比拼的是硬功夫
InfoQ:从在蚂蚁集团做技术,到如今负责 OceanBase 的整体研发工作,你完成了从一个技术人员到技术领导者的转变,能结合你的职场经历谈谈其中的感悟与收获吗?
杨传辉:我个人大学学的是计算机,然后是在 2008 年毕业后进入百度,当时主要负责一些分布式系统跟数据库方面的研发工作。后来进入了淘宝并开始在蚂蚁这个团队中做研发,先后经历了蚂蚁从淘宝体系中拆分出来,然后 OceanBase 又从蚂蚁中独立出来的全过程,我个人也是跟着这样的发展一步步走过来的。
总结来看,我觉得做技术的首先还是要把技术层面的本职工作做好,首先你得热爱你的工作,这是最基础的。那样你就一定要会想办法把每一件小事情做好,然后团队也会有更大的一些事情慢慢的让你去处理,再然后你自己能够把更大的事情做好了,这样不断的去证明自己的能力,也就会有一个比较理想的发展。
每个人的能力都是有限的,对于开发人员而言,我觉得前面 5 年一定得在自己本职工作或者是本职工作相关的领域特别的专注,千万不要浅尝辄止,只有你前面打好了基础,后面的职业生涯才会比较顺利。
此外,我觉得做技术也一定是要有好奇心的,好奇心非常重要,这跟你本职工作与非本职工作能不能做好都有着非常密切的关系,只有你对问题本身有了好奇心,你才能够不断的去深挖。而且,对技术之外的一些业务逻辑也要有好奇心,不能仅仅只停留在一些把工作完成这样的一个角度,这肯定是不够的。
InfoQ:未来的机会很多,那么在你看来,未来具有哪些特质的程序员们能够成为机会的参与者呢?对于即将来参加 QCon 的参会者们,你有什么样的建议?
杨传辉:对于国内企业而言,人才一般是不缺的,但是真正在某个领域做得比较出色的人才却依然十分稀缺。这样的人无论是创业型公司,还是一些有前景的企业,乃至于一些大型的互联网企业,都会争抢。
对于参加 QCon 的参会者来说,我觉得最重要的还是要积累自己的核心能力,你肯定得在某一些领域能够钻得下去,拥有自己的杀手锏,这样才能够让自己更加的拥有优势。如果做得比较浮躁,凡事浅尝辄止,这样的人可能在一个行业刚开始很新的时候能够很容易的找到一些投机的机会,但是当一个行业逐渐成熟的话,更多时候是要凭实力实力的,没有太多积累不行。
现在那种简单的,大家都能够看到并快速成功的机会已经基本没有了,追风口的时代已经过去了,大家比拼的还是得靠扎实的硬功夫。
推荐 QCon 全球软件开发大会
2021 年 4 月 22-24 日QCon全球软件开发大会(北京站)再次恢复为 3 天时间,会议规模在 2000 人左右,无论是嘉宾垂直还是话题关注度都会更强,更高。 12 个技术专题,73 位演讲嘉宾,大会内容持续上新中,认知的伙伴可以保持关注。直达官网查看大会详情。
评论 1 条评论