大数据可以被分为收集、组织、存储、检索、可视化以及数据分析,其核心是从数据中挖掘出价值。正如 Google 首席经济学家 Hal Varian 所说,数据是广泛可用的,所缺乏的是从中提取出知识的能力。数据收集的根本目的是根据需求从数据中提取有用的知识,并将其应用到具体的领域之中,而不同领域的大数据应用有不同的特点。
本届QCon 北京2014 ,InfoQ 特别邀请到英特尔中国研究院首席工程师吴甘沙来打造“数据驱动生活,算法统治世界”专题,解读数据与算法与普通人生活的关系。
吴甘沙主要研究方向包括大数据的计算范式和架构,软硬件协同设计,数据安全和权利,以及数据作为服务的应用模式和支撑环境。曾经参与和主持移动受控运行时(Managed Runtime)和并行编程等研究项目。发表学术论文10 余篇,获得美国专利23 项和国际专利10 余项,另有17 项专利待审中。
以下是采访内容。
InfoQ:吴甘沙你好,大家都知道你是 Intel 中国研究院的首席工程师,在大数据、Spark、嵌入式开发有许多研究,Intel 中国研究院培养了许多出色的工程师,在智能交通、传感器等方面做了许多工作。能否再请你介绍一下自己以及 Intel 中国研究院。
吴甘沙:我的经历很简单,离开大学后就一直在英特尔中国研究院。前五年做 Java 虚拟机,从服务器上一直做到手机上;中间四年做并行计算,从多核做到众核;最近四、五年转到分布式计算,先是物联网,现在专注于大数据。
英特尔中国研究院有不少有趣的、有影响力的研究,请大家关注英特尔的爱迪生,这项在 CES 上获得最佳创新大奖殊荣的技术就是来自中国研究院。另一个值得关注的技术是基于 X86 的云基站,它有可能在根本上改变未来的无线通信基础设施。
InfoQ:你曾经说过,无论做任何事,只要你认真对待,即使是走弯路,同样也能获得另一种成功。这让我想到了另外一句话:屡战屡败,屡败屡战,但每次失败都比上一次更美好。
吴甘沙:对我来说,学会欣赏失败的美好还需提高素养:)。从失败中成功,仍然是小概率事件,要放大这个概率需要两方面相辅相成:一是我们自身要有小强精神,学会失败并快乐着;二是环境要容忍和鼓励失败,英特尔研究院专门有一个奖项来奖励“有价值的失败”。
InfoQ:目前你关注的重点是什么?
吴甘沙:大数据如何产生价值。具体来说,兴趣从分布式基础设施、数据管理转到数据分析、可视化和用户工具;关注如何做到隐私无虞的数据开放,如何用数据安全技术和经济激励机制鼓励数据交换和共享。
InfoQ:过去一年中,你观察到大数据领域有哪些值得关注变化?
吴甘沙:国外更多地开始关注大数据栈的上层,关注行业应用和服务;国内在行业上走得更早,但发现技术没有跟上,现在也开始夯实大数据栈的下层,已经有专业的公司提供大数据基础产品和解决方案。Hadoop 还是主流,但 Spark 的早期接受者已经星火燎原。
在应用模式上,也慢慢从简单的查询和 NoSQL 取代 SQL,转为数据挖掘和非结构化数据分析。传统行业,如金融、健康医疗和教育,对大数据技术的需求井喷。但总体来讲,除商业外,做得很深、很透的大数据行业解决方案还不多,这是未来一两年值得期待的。另外,对数据隐私、安全、定价和交换 / 交易的关注显著升温。
InfoQ:你是 QCon 北京 2014 大会“数据驱动生活,算法统治世界”专题的出品人,能否谈谈你对此次专题的策划?
吴甘沙:我把主题定为“数据驱动生活,算法统治世界”。我们生活中很多的决策,如我们对什么产生了兴趣,发生了怎样的购买行为,都可能是数据驱动的。另一方面,从股市的运行到交通的控制,算法又在悄悄地指挥这个世界的运行。所以我们嘉宾的演讲题目必须是贴近我们生活的,同时嘉宾们又会用技术流的方式说明白这些应用下面大数据计算和分析的工作机制。
InfoQ:你怎么理解大数据处理与大数据应用?
吴甘沙:就是挖矿工具和挖矿的关系。挖矿工具要好用、耐用,而挖不同的矿则要靠经验加上工具的熟练使用。
InfoQ:Spark Summit 2013 上有许多非常棒的研究实践,包括 Spark、Spark Streaming 在内这样的高生产率工具出现后,帮助垂直领域专家发挥了创造力,这是否意味着未来几年大数据领域将迎来创新的高潮?出现通过大数据真正改变人们生活的公司和产品?
吴甘沙:我很相信这一点。Spark 以及 BDAS(Berkeley Data Analytics Stack)就是好用的挖矿工具,今年达到商用,明年全面铺开。那挖矿的人还等什么呢?这将是又一次淘金潮(Gold Rush)。
此专题详细信息,请见专题页面。关于此次 QCon 北京其他专题的详细信息,请移步至大会官网。
需要特别注明的是,每年 QCon 大会门票都会在开幕前售罄,及早预定可提前确保席位,并享受更低折扣。现在报名参加将可享受 8 折优惠。团体购票(5 人及以上)将享有更多优惠。详请咨询 qcon【at】cn.infoq.com,或直接致电 010-64738142。报名请点击报名页面。
评论