AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

B 端大数据应用的架构实践与思考

  • 2018-12-03
  • 本文字数:3221 字

    阅读完需:约 11 分钟

B端大数据应用的架构实践与思考
00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    InfoQ:各位观众大家好,我们现在正在 2018 QCon 全球软件开发大会上海站的现场,InfoQ 很荣幸地邀请到了国双科技 技术总经理何恺铎老师接受我们的采访,首先请何老师简单介绍一下自己吧。


    何恺铎:好的,大家好,我叫何恺铎,是国双科技的技术总经理。我们国双科技是 05 年成立,到现在有十几年的历史,在 16 年,我们在纳斯达克上市,那么在这十几年当中,我们一直专注于做数据的分析和相关咨询的业务,我们是一个为企业服务的公司。


    InfoQ:何老师,同样是处理大数据,您认为 B 端和 C 端大数据处理的最大差异是什么,在架构实践上需要做出怎样的针对性调整呢?


    何恺铎:B 端和 C 端的确有比较大的一个差异,我觉得最核心的一点主要体现在我们的 B 端需要同时适应多个客户的场景和需求,有的时候我们也要针对一些行业的特点去进行更高层面的抽象。这里面主要分析的抽象单位,可能有一些区别。所以在这里面,我觉得抽象以及抽象对应的实现是 B 端大数据的应用当中最关键的部分,这也是在刚才的演讲当中,我们着重去剖析的那个部分。


    InfoQ:那在架构实践上需要做出哪些针对性的调整呢?


    何恺铎:我觉得主要就是针对这个多租户的情况,以及在我们的演讲当中提到的多态情况去进行比较针对性的设计,建立这样一个以元数据配置为中心的架构体系,应该是 B 端比较显著的特点。


    InfoQ:企业在做大数据转型的时候从哪方面切入会比较好呢?


    何恺铎:这是一个比较大的话题了,我个人的建议是,我们可以针对我们现在企业的业务痛点去入手,围绕当前这个业务的痛点去分析,对于这块相关的数据进行妥善的梳理,然后评估针对这一块和痛点相关的业务数据,能够帮助我们去发现什么样的价值,以及我们可以采取怎么样的行动。


    InfoQ:我们知道架构其实是在做一种权衡和取舍,比如在可用性、性能、准确性等方面,对于 B 端大数据应用的架构来说,哪些方面更为关键呢?


    何恺铎:对于 B 端来讲,刚才您提到的这个我们不管是可用性还是性能,这些我觉得都是一样的。比较有特点的,就是在 B 端来讲,需要注意和成本的平衡,因为不管是人力方面还是硬件方面,我们也没有办法去做无尽止的投入,我们需要通过巧妙的架构的设计,能够在我们的成本和产出之间取得一个比较好的平衡,在做 B 端大数据架构的时候的确需要着重去考虑。


    InfoQ:你们在做大数据转型的过程中曾经遇到过哪些坑吗?如果有重新再来一次的机会,你们有没有想到更好办法绕过它们或解决它们?


    何恺铎:我们在很多不同的产品,不同的研发的过程当中,的确也有一些经验和教训,我觉得比较需要小心处理的一个点可能是关于遗留系统的处理,因为 B 端的特点决定了它可能会存在很多遗留的系统,或者说系统老的版本,但是我们为了保证客户服务的稳定性,我们是需要继续对这些版本进行维护。所以我认为这里面特别要当心的,主要是在于说,对于,当我们对老版本的进行升级的时候,需要注意,它和老版本的一个兼容性,能够保证对客户有一个比较平滑的升级的体验,这点是非常关键的。


    InfoQ:根据现有数据去深入分析挖掘,或者基于业务去获取数据,你是如何看待这两种方式的?


    何恺铎:我觉得通过现有数据去分析,它成本比较低,就是我们现在可以看看现在手头有哪些东西,让他去给我们一些洞察,但是这个问题没有一个一致的答案,因为它最终还是取决于我们前面提到的业务的痛点在哪里,如果围绕这个业务的痛点,我们最需要分析的那个方向,它的数据如果是现成的,当然自然是最好,如果并没有,那我们就需要花力气去做相关的采集、梳理和治理的工作,这个更多的是取决于我们现有的数据是不是和我们的业务的痛点是匹配的,更多的是围绕业务的需求去编排、管理、收集我们的数据。


    InfoQ:也就是说这两种方式没有绝对的好?


    何恺铎:当然,还是要事先要想清楚,你业务上想要达到什么目的,再去决定怎么样的数据去辅助这个目的。


    InfoQ:企业做大数据转型时,是不是组织架构也需要做一定的调整?


    何恺铎:这也是一个非常好的话题,因为我们所有的事情都是和人相关的,最终由人来去落地和执行,企业的组织架构的确会有比较大的影响,在数字化转型过程当中,不管是程度的深浅,还是进度的快慢,的确会有很大的影响,我见过两种方式,一种方式更多的是业务驱动,业务部门有比较明确的需求,它来驱动,但是它需要 IT 技术的相关支持。

    另外一种方式我们也见过,就是更多的是公司从 IT 去主导这个事情,我们需要建立数据平台,做这个转型,那么它需要去联合我们企业的其他业务部门,来达到这个目的,那么我个人的感觉,如果说我们要把这个数字化转型做得顺利和彻底,它最好需要得到企业高层的一个强而有力的支持,让这件事情不再仅仅从单部门角度去考虑这个事情,而是自上而下,能够在企业当中去推广这样的一种方法论,我觉得这样它的阻力和它最终的这个效果就会很好,这也是为什么现在很多企业会设立 CDO,Chief Data Officer 这个职位的,我想一个很重要的原因,就是为了能够自上而下去协调整个企业。


    InfoQ:那在这个过程中它会对应用架构产生怎样的影响?


    何恺铎:应用架构你指的是哪个方面的?


    InfoQ:就是我们那个技术方面的。


    何恺铎:啊,就是对应的这个技术是吧?明白。我觉得它更多的,当这个组织架构梳理得比较清晰了,并且能够形成这样的一个自上而下的这个体系的时候,对我们的应该说是先影响到我们的产品的架构,因为产品会定义我们的组织当中的不同的角色,他们之间的分工,以及一个事情的流转的这样的一个方式。所以它组织架构首先会影响产品架构,产品架构就会影响我们的技术架构,是这样一个逻辑。


    InfoQ:如今围绕大数据有很多的平台和框架,在解决方案选型时,针对不同的业务特点是不是需要做出不同的搭配?针对不同的行业,你是否有一些推荐的备选项呢?


    何恺铎:现在的这个应该说在大数据处理方面已经非常成熟,百花齐放的一个状态,我们有很多,可能做一件事情也有不同的框架去进行选择,我的一个建议呢,是可以根据我们企业现在的人才的一个情况,我们对于哪一块比较熟悉,哪一种方式,我们比较驾轻就熟,那么这样呢,我们可能能够花比较少的时间在学习上,而是能够更多的专注在业务问题的解决上面,这是我的一个建议,另外一个建议呢,可能尤其是对于很多传统企业来讲,会推荐使用云端的一些和大数据相关的一些框架和技术的。因为在云端我们很方便的,一方面能够使用到公有云厂商自己提供的实时处理,或者大数据批量处理的一些解决方案,使用的门槛并不高,另一方面,这些云也都会提供开源社区比较标准的,开源体系下面大数据处理方案,并且它会随着这个技术的趋势,它可以不断的往里面去增添新的东西,某种程度上来讲跟着云厂商的节奏对企业来讲是一个不错的选择。


    InfoQ:那最后你可以展望一下大数据的未来的发展,你觉得它虽然现在很火,那它是否真的实现落地,然后真的有未来?


    何恺铎:我觉得将来会是这样的一个状态,我们也许不会再去反复的强调说 Big Data 这个词,而是它会润物细无声的,就是自然而然的成为我们生活、业务、企业当中一个很自然的组成部分,它会无处不在,所以呢,当然它的未来是会前景是非常好的。


    InfoQ:那您认为未来会影响大数据最大的关键因素是什么?技术还是资本,或者说国家层面的一些政策?


    何恺铎:一方面是技术,因为在技术上,我们还是可以看到它有一些很明显的趋势,比如说我们的实时和这种批处理的方式在不断的融合,比如说它的易用性,它的这个使用的门槛也越来越降低,所以这是技术方面的趋势,至于说未来,我觉得它的确也会受到政策的影响,因为我们也看到这个现在我们对于数据的保护,这个意识越来越强,像欧盟有 GDPR 的标准,我觉得中国也有我们的网络安全和数据保护相关的法律条例,我觉得我们同时的确也需要对数据有敬畏之心,那么在一些应用的场合也要,有一些地方要保证合理的克制,比如在广告的领域,我们可能会对我们的用户的 ID,设备的 ID,一定要做非常小心的处理,避免它的滥用。


    InfoQ:以上就是我们今天的采访,非常感谢何老师,谢谢。


    何恺铎:谢谢!


    2018-12-03 10:005037
    用户头像

    发布了 1482 篇内容, 共 658.0 次阅读, 收获喜欢 2499 次。

    关注

    评论 1 条评论

    发布
    暂无评论
    发现更多内容

    如何实现在线播放mpeg-ts文件?

    Changing Lin

    11月日更

    远程工作的这几年

    程序员铮铮

    程序员 代码人生 远程工作

    App 端自动化的最佳方案,完全解放双手!

    星安果

    Python 自动化 爬虫

    终于把性能测试这事儿讲清楚了

    博睿数据

    如何运用Camtasia中的交互性?

    淋雨

    Camtasia

    华为顶级安全专家分享出来这份‘典藏版’Linux开发实战笔记

    热爱java的分享家

    Java 架构 程序人生 编程语言 经验分享

    【AI最前线】精准优质-资讯|分享|热议第41期

    百度大脑

    人工智能

    拒绝卡顿,揭秘盒马鲜生 APP Android 短视频秒播优化方案

    阿里巴巴终端技术

    android App 短视频 移动开发 体验优化

    Spring中的Controller和Service是线程安全的吗?我有点懵

    热爱java的分享家

    Java spring 程序人生 编程语言 经验分享

    Java 项目中使用 Resilience4j 框架实现客户端 API 调用的限速/节流机制

    码语者

    Java 限速 节流 Resilience4j RateLimit

    提升研发效能的低代码思路

    赫杰辉

    研发效能 低代码平台 x-series

    Spark面试题大全

    编程江湖

    大数据 Spark面试题

    如何判断一个需求是真的用户需求,还是伪需求呢?

    石云升

    产品思维 需求分析 11月日更

    在 JavaScript 中如何检查对象为空

    编程江湖

    JavaScript 大前端

    快上车丨直播课“Hello ArkansasUI:初识Slider组件(eTS)”来啦

    HarmonyOS开发者

    HarmonyOS

    通过 for 循环,比较 Python 与 Ruby 编程思想的差别

    Python猫

    Python

    海康摄像机RTSP地址格式(官方最新版)

    音视频牛哥

    WebRTC RTMP RTSP 播放器

    EMQ 出席 2021 ArchSummit,打造全连接时代的数据基础设施

    EMQ映云科技

    大数据 物联网 IoT 智能

    贪心:柠檬水找零、跳跃游戏🍋

    空城机

    JavaScript 贪心算法 11月日更

    构建多云战略的注意事项

    云计算

    Python Qt GUI设计:QComboBox下拉列表框类(基础篇—14)

    不脱发的程序猿

    Python qt PyQt GUI设计 QComboBox下拉列表框类

    GitHub霸榜月余的24万字Java面试手册,竟是阿里机密

    热爱java的分享家

    Java 面试 程序人生 编程语言 经验分享

    一次搞懂SpringBoot核心原理:自动配置、事件驱动、Condition

    热爱java的分享家

    Java 程序人生 Spring Boot 编程语言 经验分享

    一个对标VSCode的IDE---Fleet

    IT蜗壳-Tango

    11月日更

    Python代码阅读(第61篇):延迟调用函数

    Felix

    Python 编程 Code 阅读代码 Python初学者

    钉钉小程序快照技术初窥

    阿里巴巴终端技术

    小程序 ios android 快照 体验优化

    线程如何实现保持同步

    编程江湖

    Java 多线程

    Go WebSocket开发与测试实践【gorilla/websocket】

    FunTester

    Java websocket 接口测试 Go 语言 FunTester

    看完源码记不住?掌握这套方法,Alibaba不会少你一个工位

    热爱java的分享家

    Java 面试 程序人生 编程语言 经验分享

    Spring Bean生命周期你除了会背八股文面试,真的会用了吗?

    热爱java的分享家

    Java spring 程序人生 编程语言 经验分享

    分布式系统的架构演进过程(一)

    卢卡多多

    分布式, 11月日更

    B端大数据应用的架构实践与思考_大数据_InfoQ 中文站_InfoQ精选文章