B 端大数据应用的架构实践与思考

InfoQ：各位观众大家好，我们现在正在 2018 QCon 全球软件开发大会上海站的现场，InfoQ 很荣幸地邀请到了国双科技 技术总经理何恺铎老师接受我们的采访，首先请何老师简单介绍一下自己吧。

何恺铎：好的，大家好，我叫何恺铎，是国双科技的技术总经理。我们国双科技是 05 年成立，到现在有十几年的历史，在 16 年，我们在纳斯达克上市，那么在这十几年当中，我们一直专注于做数据的分析和相关咨询的业务，我们是一个为企业服务的公司。

InfoQ：何老师，同样是处理大数据，您认为 B 端和 C 端大数据处理的最大差异是什么，在架构实践上需要做出怎样的针对性调整呢？

何恺铎：B 端和 C 端的确有比较大的一个差异，我觉得最核心的一点主要体现在我们的 B 端需要同时适应多个客户的场景和需求，有的时候我们也要针对一些行业的特点去进行更高层面的抽象。这里面主要分析的抽象单位，可能有一些区别。所以在这里面，我觉得抽象以及抽象对应的实现是 B 端大数据的应用当中最关键的部分，这也是在刚才的演讲当中，我们着重去剖析的那个部分。

InfoQ：那在架构实践上需要做出哪些针对性的调整呢？

何恺铎：我觉得主要就是针对这个多租户的情况，以及在我们的演讲当中提到的多态情况去进行比较针对性的设计，建立这样一个以元数据配置为中心的架构体系，应该是 B 端比较显著的特点。

InfoQ：企业在做大数据转型的时候从哪方面切入会比较好呢？

何恺铎：这是一个比较大的话题了，我个人的建议是，我们可以针对我们现在企业的业务痛点去入手，围绕当前这个业务的痛点去分析，对于这块相关的数据进行妥善的梳理，然后评估针对这一块和痛点相关的业务数据，能够帮助我们去发现什么样的价值，以及我们可以采取怎么样的行动。

InfoQ：我们知道架构其实是在做一种权衡和取舍，比如在可用性、性能、准确性等方面，对于 B 端大数据应用的架构来说，哪些方面更为关键呢？

何恺铎：对于 B 端来讲，刚才您提到的这个我们不管是可用性还是性能，这些我觉得都是一样的。比较有特点的，就是在 B 端来讲，需要注意和成本的平衡，因为不管是人力方面还是硬件方面，我们也没有办法去做无尽止的投入，我们需要通过巧妙的架构的设计，能够在我们的成本和产出之间取得一个比较好的平衡，在做 B 端大数据架构的时候的确需要着重去考虑。

InfoQ：你们在做大数据转型的过程中曾经遇到过哪些坑吗？如果有重新再来一次的机会，你们有没有想到更好办法绕过它们或解决它们？

何恺铎：我们在很多不同的产品，不同的研发的过程当中，的确也有一些经验和教训，我觉得比较需要小心处理的一个点可能是关于遗留系统的处理，因为 B 端的特点决定了它可能会存在很多遗留的系统，或者说系统老的版本，但是我们为了保证客户服务的稳定性，我们是需要继续对这些版本进行维护。所以我认为这里面特别要当心的，主要是在于说，对于，当我们对老版本的进行升级的时候，需要注意，它和老版本的一个兼容性，能够保证对客户有一个比较平滑的升级的体验，这点是非常关键的。

InfoQ：根据现有数据去深入分析挖掘，或者基于业务去获取数据，你是如何看待这两种方式的？

何恺铎：我觉得通过现有数据去分析，它成本比较低，就是我们现在可以看看现在手头有哪些东西，让他去给我们一些洞察，但是这个问题没有一个一致的答案，因为它最终还是取决于我们前面提到的业务的痛点在哪里，如果围绕这个业务的痛点，我们最需要分析的那个方向，它的数据如果是现成的，当然自然是最好，如果并没有，那我们就需要花力气去做相关的采集、梳理和治理的工作，这个更多的是取决于我们现有的数据是不是和我们的业务的痛点是匹配的，更多的是围绕业务的需求去编排、管理、收集我们的数据。

InfoQ：也就是说这两种方式没有绝对的好？

何恺铎：当然，还是要事先要想清楚，你业务上想要达到什么目的，再去决定怎么样的数据去辅助这个目的。

InfoQ：企业做大数据转型时，是不是组织架构也需要做一定的调整？

何恺铎：这也是一个非常好的话题，因为我们所有的事情都是和人相关的，最终由人来去落地和执行，企业的组织架构的确会有比较大的影响，在数字化转型过程当中，不管是程度的深浅，还是进度的快慢，的确会有很大的影响，我见过两种方式，一种方式更多的是业务驱动，业务部门有比较明确的需求，它来驱动，但是它需要 IT 技术的相关支持。

另外一种方式我们也见过，就是更多的是公司从 IT 去主导这个事情，我们需要建立数据平台，做这个转型，那么它需要去联合我们企业的其他业务部门，来达到这个目的，那么我个人的感觉，如果说我们要把这个数字化转型做得顺利和彻底，它最好需要得到企业高层的一个强而有力的支持，让这件事情不再仅仅从单部门角度去考虑这个事情，而是自上而下，能够在企业当中去推广这样的一种方法论，我觉得这样它的阻力和它最终的这个效果就会很好，这也是为什么现在很多企业会设立 CDO，Chief Data Officer 这个职位的，我想一个很重要的原因，就是为了能够自上而下去协调整个企业。

InfoQ：那在这个过程中它会对应用架构产生怎样的影响？

何恺铎：应用架构你指的是哪个方面的？

InfoQ：就是我们那个技术方面的。

何恺铎：啊，就是对应的这个技术是吧？明白。我觉得它更多的，当这个组织架构梳理得比较清晰了，并且能够形成这样的一个自上而下的这个体系的时候，对我们的应该说是先影响到我们的产品的架构，因为产品会定义我们的组织当中的不同的角色，他们之间的分工，以及一个事情的流转的这样的一个方式。所以它组织架构首先会影响产品架构，产品架构就会影响我们的技术架构，是这样一个逻辑。

InfoQ：如今围绕大数据有很多的平台和框架，在解决方案选型时，针对不同的业务特点是不是需要做出不同的搭配？针对不同的行业，你是否有一些推荐的备选项呢？

何恺铎：现在的这个应该说在大数据处理方面已经非常成熟，百花齐放的一个状态，我们有很多，可能做一件事情也有不同的框架去进行选择，我的一个建议呢，是可以根据我们企业现在的人才的一个情况，我们对于哪一块比较熟悉，哪一种方式，我们比较驾轻就熟，那么这样呢，我们可能能够花比较少的时间在学习上，而是能够更多的专注在业务问题的解决上面，这是我的一个建议，另外一个建议呢，可能尤其是对于很多传统企业来讲，会推荐使用云端的一些和大数据相关的一些框架和技术的。因为在云端我们很方便的，一方面能够使用到公有云厂商自己提供的实时处理，或者大数据批量处理的一些解决方案，使用的门槛并不高，另一方面，这些云也都会提供开源社区比较标准的，开源体系下面大数据处理方案，并且它会随着这个技术的趋势，它可以不断的往里面去增添新的东西，某种程度上来讲跟着云厂商的节奏对企业来讲是一个不错的选择。

InfoQ：那最后你可以展望一下大数据的未来的发展，你觉得它虽然现在很火，那它是否真的实现落地，然后真的有未来？

何恺铎：我觉得将来会是这样的一个状态，我们也许不会再去反复的强调说 Big Data 这个词，而是它会润物细无声的，就是自然而然的成为我们生活、业务、企业当中一个很自然的组成部分，它会无处不在，所以呢，当然它的未来是会前景是非常好的。

InfoQ：那您认为未来会影响大数据最大的关键因素是什么？技术还是资本，或者说国家层面的一些政策？

何恺铎：一方面是技术，因为在技术上，我们还是可以看到它有一些很明显的趋势，比如说我们的实时和这种批处理的方式在不断的融合，比如说它的易用性，它的这个使用的门槛也越来越降低，所以这是技术方面的趋势，至于说未来，我觉得它的确也会受到政策的影响，因为我们也看到这个现在我们对于数据的保护，这个意识越来越强，像欧盟有 GDPR 的标准，我觉得中国也有我们的网络安全和数据保护相关的法律条例，我觉得我们同时的确也需要对数据有敬畏之心，那么在一些应用的场合也要，有一些地方要保证合理的克制，比如在广告的领域，我们可能会对我们的用户的 ID，设备的 ID，一定要做非常小心的处理，避免它的滥用。

InfoQ：以上就是我们今天的采访，非常感谢何老师，谢谢。

何恺铎：谢谢！