免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

姜小凡:物理世界的数据越来越有价值

  • 2014-03-03
  • 本文字数:2602 字

    阅读完需:约 9 分钟

进入二月下旬,北京迎来一轮漫长的雾霾天气,京东上许多空气净化器脱销,淘宝上 3M 口罩涨价不少,微博、微信上也流传着各种应对 PM2.5 的偏方。在未来的日子,我们不得不继续 PM2.5 问题。2013 年,姜小凡和他的团队开发了一款成本 200 多元的 PM2.5 检测设备——PAM(便携式个人空气质量监测仪)。PAM 最大的特点是成本低。同时,PAM 考虑了地理信息、气候因素,并且通过机器学习的方式处理这些数据,建立模型,模型进一步修正数据,保证数据精确性。

QCon 北京 2014 大会上,姜小凡将就《PM2.5 的大数据分析》为题分享,详解如何将廉价的传感器与云端数据结合实现 PM2.5 分析的。日前,InfoQ 对姜小凡进行了专访,以下为采访内容:

InfoQ:姜小凡你好,向 InfoQ 的读者和 QCon 的参会者介绍下自己吧。

姜小凡:我是 Intel 物联技术研究院的首席构架师,也是 Intel 研究院的主任研究员。最早我在伯克利读本科和博士,期间开始接触物联网这个方向,做了一些无线传感器网络和楼宇能源监测及管理的项目。在博士期间我也做了一些能源控制的 startup,并也在美国的 Google 做了一些 MIMO 通信的研究。毕业之后我加入了微软亚洲研究院,那时候我主要研究移动互联网、室内定位等。2012 年底我再次加入了 Intel,为什么说我再次加入呢,是因为我本科毕业的时候,在加州那边的英特尔也工作过一段时间。自 2012 年底到现在,我们对很多领域的技术进行了探讨,并对其中一些进行了深入研究。其中一个项目是利用物联网和大数据手段做空气质量检测,如 PM2.5 和雾霾。

InfoQ:目前你关注的重点是什么?

姜小凡:把物联网技术真正应用到生活中,把技术真正推向市场并解决一些问题,是我们研究院所有人共同的目标,也是我们关注的重点。对于我个人来说,刚刚说的 PM2.5 和雾霾问题是我目前一个很重要的关注点。现在有各种手段做 PM2.5 监测,但是这些方式要么非常昂贵,要么很不精确。而我们利用比较廉价的传感器网络能实时的把颗粒物的数据传到云端,同时收集了不同维度的其他数据,包括气象数据,人的位置数据等,将这些数据融合在一起。最后用机器学习的方式处理这些数据,找到他们之间的关系,学习出不同维度数据互相的影响。通过这种方式,在云端做了空气模型,再通过这个模型增加数据的精确性。我认为这是一个非常经典的物联网和大数据的结合的项目,也希望能够向 QCon 的听众介绍这个项目。

当然我们不仅仅有空气质量方向的研究,我们也做一些可以快速应用的项目,我可以列举几个。如手机验真。现在国内的手机是有很多是仿品,怎么用数据和众包的方式自动检测到手机的真伪?这就涉及到手机硬软件的“指纹”收集,我们在云端建立了一个比较大的数据库,能收集到很多款 Android 手机的指纹。不同的操作系统,不同的软件版本会生成不同的指纹,通过指纹的方式非常简单的告诉消费者,你买的手机是正品还是仿品。

在室内定位方面,我们和海龙大厦合作,通过无线信号指纹的手段定位。这样,我们知道某个消费者时时的精确位置。基于位置信息,可以给消费者提供一些帮助,比如说室内导航,广告的推送。

此外还有一些其他的项目,包括我们在公交车做了人流的监测和预测,希望解决交通拥堵的问题。基本上我们现在都是比较实际的问题,希望用大数据、云计算的手段去解决这些问题,而不是花更多的钱去买一个更精确的传感器。我认为这是一个正确的方向。

InfoQ:海龙大厦室内定位是通过 WiFi 信号实现的吗?

姜小凡:是通过 WiFi,这个技术在学术界已经有不少论文,但我们还没有看到很多真正的商业应用。我们这里要做的,不是去发论文讨论如何实现,或是如何添加一个什么创意来改进,而是真正将 WiFi 室内定位推进到应用的层面,我们知道任何一个实验室技术和真正实用化相比还有很大差距的,面对的问题也有很大区别。实验室关注的是可行性,可以对很多条件进行限定;但实际上很多条件是不可预知的,实际应用有太多的细节和技术难关需要解决。

InfoQ:在过去一年当中,你观察到数据行业有哪些变化?

姜小凡:开始的时候,大家都觉得大数据要像亚马逊、沃尔玛、Google 这些公司那样收集了很多信息,然后通过模型或分析找到可利用的信息。很多人把大数据和 Hadoop 之类的技术划上等号,拿数据量来标榜大数据。而我的看法却不同,我认为大家越来越关注小数据的集合,为什么呢?之前一般直接从互联网提取数据,但是近一两年,看到的是很多物理世界的数据,比如手机里的加速度传感器的数据,GPS 数据,PM2.5 数据。这些和物理世界相关的数据越来越多,而且越来越有价值。我认为我们会渐渐把大数据的概念扩展,把空间信息、地理位置信息等 meta data 都加入进去。而我们更关注的不是数据本身,而是数据之间的关系和它们的相互作用。建立数据之间的关系是有难度的,处理起来也更加复杂。如在实时系统中,留给数据分析和反馈至前端的时间也许只有 10 毫秒,如何利用流处理和系统优化来达到,这是我们需要深入研究的。

InfoQ:你怎么理解大数据处理与大数据应用?

姜小凡:大数据处理方面,大家都认为大数据应该在云端做,但我觉得数据的处理应该是分布式的,我指的不仅是数据中心分散计算能力,而是数据应该在最利于处理的地方处理。比如,如果需要把所有数据以原始的状态发送到云端处理,对网络的压力是非常大的。所以我认为大数据处理,可以在例如手表之类的地方处理再发送到云端,比如视频数据会在摄像头内做一些特征提取,然后再把特征发送到云端。

大数据应用有一些经典的例子,比如通过数据分析知道用户在某一时间点喜欢购买的商品,超市可以通过预测来提前订货。在移动应用方面,刚才提到了在海龙大厦的室内定位就是其中之一。

InfoQ:您曾经说过,希望把 PAM 传感器的价格降到两三百元人民币,这个目标还需要多久才能实现?

姜小凡:这个目标在有一定生产量的前提下已经实现了。具体生产量是多少,我们还在进行核算,不过这个量应该不是很大。

InfoQ:通过大量廉价的传感器搜集数据是未来实现大数据应用的有效手段吗?这其中的难点在哪儿?

姜小凡:这里的挑战包括数据的可用性,精确性,以及把数据提取到云端的过程耗费的系统资源。以 WiFi 定位为例,原理上大家都理解,通过收集某一点的 3 个 AP 的信号强度,用三角定位实现。但在真实环境,无线信号波动非常大,遮挡物会改变信号强度,信号可能被反射和散射 ,造成信号强度衰减或者增递。物理世界的传感器数据,并没有互联网数据那么干净,需要大量的处理把传感器数据变成可用的数据。

2014-03-03 02:061773
用户头像

发布了 45 篇内容, 共 13.9 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

leetcode 637. Average of Levels in Binary Tree 二叉树的层平均值(简单)

okokabcd

LeetCode 数据结构与算法

谁来说说数据质量评估的标准是什么?

雨果

数据质量

谁能说清楚数据资产管理与数据治理是什么关系?

雨果

数据治理

精讲数据归档分析 |Data Infra 研究社第四期

Databend

大数据 开源 活动预告 #开源 数据归档

企业做好知识管理的方法:文档管理

Baklib

【云原生 | 从零开始学Docker】四、Docker镜像深度解析

泡泡

Docker 云计算 容器 云原生 9月月更

2022-09-15:Range模块是跟踪数字范围的模块。 设计一个数据结构来跟踪表示为 半开区间 的范围并查询它们。 半开区间 [left, right) 表示所有 left <= x < righ

福大大架构师每日一题

算法 rust 福大大

跟着卷卷龙一起学Camera--Binder

卷卷龙

ISP 9月月更

《数字经济全景白皮书》新市民金融创新篇 重磅发布!

易观分析

金融 新市民服务

【spring-kafka】@KafkaListener详解与使用

石臻臻的杂货铺

kafka 9月月更

经验分享|企业搭建帮助中心步骤

Baklib

一文读懂,硬核 Apache DolphinScheduler3.0 源码解析

Apache DolphinScheduler

源码阅读 Apache DolphinScheduler 工作流编排 大数据 开源 大数据调度

SaaS 产品该如何定价?

产品海豚湾

产品经理 SaaS 产品规划 9月月更 商业产品

MySQL 中的锁机制

月明风清

Scrum 实施过程的主要内容及5大常用工具

爱吃小舅的鱼

你知道数据资产管理的目标是什么?

雨果

数据中台 数据资产管理

前端经典面试题(有答案)

loveX001

JavaScript 前端

专家亮相华为云快成长直播间云安全专场,“未雨绸缪”化解数据风险

创意时空

和我一起入JavaScript

楠羽

JavaScript 笔记 知识 9月月更

C++学习---STL中nullptr_t的实现原理

桑榆

c++ 源码阅读 9月月更

什么是访问控制列表ACL?

wljslmz

acl 访问控制列表 9月月更

给网站加个速,原来很简单

科技怪咖

易观分析:制造行业数字孪生AMC分析 ——数字孪生智能制造步入市场启动期,闭环验证能力待优化

易观分析

数字孪生 市场分析

给网站加个速,原来很简单!

sofiya

企业在SaaS时代如何玩转帮助中心?

Baklib

[极致用户体验] 让你的网页,适配微信大字号模式!体验超好,快来收藏

HullQin

CSS JavaScript html 前端 9月月更

BNBChain NFTScan 与 SpaceID 达成合作,在浏览器内支持 .bnb 域名搜索!

NFT Research

区块链 域名 bnb

降本增效两不误——云原生赋能航空业数字化转型

York

容器 云原生 数字化转型 开发运维 智慧航空

元宇宙与泛娱乐的邂逅:次世代第一CP养成记

脑极体

数据仓库分层架构

阿泽🧸

数据仓库 9月月更

【云原生 | 从零开始学Docker】五、容器数据卷实战

泡泡

Docker 云计算 容器 云原生 9月月更

姜小凡:物理世界的数据越来越有价值_QCon_包研_InfoQ精选文章