写点什么

数据分析、机器学习与物联网

2015 年 7 月 31 日

本文最早发表在 IEEE IT Professional 杂志上。针对当前的战略技术问题,该杂志提供了经过同行评议的可靠信息。来自 IT 专家的最先进的解决方案,将帮助 IT 管理者和技术领袖们,以可靠、灵活的方式运作企业并应对挑战。

我们当前所处的世界,联网程度不断上升,低成本传感器和分布式智能也在不断普及,产业即将面临这一切带来的革命性的冲击;同时,在此过程中还会产生大量的数据,其规模将庞大到远远超过人类所能处理的范畴。对此,企业是否能足够迅速地适应并演进自身的业务,以维持在竞争格局中所处的位置?面对我们栖身的环境中植入的这些全新的信息来源和智能设备,人类应当如何掌握它们并从中获益?

利用不断演进的技术

组织机构将需要建立起内部数据仓库,以便能够利用新的数据源和数据流。智能接入设备亦将在某些情况下取代人的角色,它们将能够自行决策、执行自我调整,或是根据需要引发对自身的纠正和修复。在另一些情景中,众多设备的集合将聚集在一起成为完整的系统,这样的系统可以采用新的方法进行优化;而由系统聚集成的系统,将会彼此共享数据,并成为由数据和设备组成的生态系统。机器学习(指从数据中推导出意义的众多方法)注定将成为这个生态系统中的一部分;此外,随着企业着手为物联网(IoT)做准备,传统业务和数据分析技术也同样将被纳入到该生态系统之中。

物联网——某些人更愿意称之为“万物互联”(Internet of Everything)——正处于不断上升的轨道上。一项 Gartner 研究指出,在 2020 年 IoT 单元的数量将达到 260 亿,而 IoT 产品和服务的市值将达到 3000 亿美元 1。另外,GE 在工业互联网(Industrial Internet)——这一概念包含用于监控和优化工业设备(例如喷气式引擎、铁路机车、动力涡轮机和制造工艺)性能的机制和应用——领域已经活跃了很长时间。根据 GE 的估算和预测,在接下来 20 年中,工业互联网将帮助全球 GDP 产值提高 10 到 15 万亿美元(没错,万亿量级)。

当然,围绕着已问世的全新技术和正在逐步浮现的技术概念,市场中充斥着大量炒作。例如,Gartner 备受争议的 “成熟度曲线”(注:也有些人使用“炒作周期”这一贬义说法)报告就把 IoT 摆在了“翘首以望的顶峰”的位置上(而大数据作为之前的热点,已经进入了“理想幻灭的低谷” 3)。然而,哪怕企业家们为之表现出群情激昂的兴奋,或是记者们在笔下展现出了对未来的狂热展望,在现实中依旧存在着大量的挑战,组织机构必须克服它们,才能够真正乘上这次技术演进的东风。

挑战

组织机构必须聚焦于:

  • 了解产品技术和 IT 领域中,企业能力的相对成熟度;
  • 了解可以纳入哪些类型的 IoT 功能,以及新能力将会在哪些方面对客户价值带来影响;
  • 了解机器学习和预测分析模型的角色;
  • 基于市场变化的迅捷程度和竞争对手的相对敏捷度,重新思考业务模型和价值链。

接下来,让我们对这些挑战逐一进行更详细地分析。

理解产品和 IT 成熟度

可以从产品和 IT 两个维度分别进行分析。首先,产品组合的成熟度如何?它是属于变更较缓慢且逐步演进的传统类型的产品,还是属于前进速度更快,同时具有更复杂生态系统的产品?矿产设备在技术上非常复杂。并且,与科学研究仪器相比,它拥有更为漫长的设备生命周期,和相对更缓慢的演进速度。然而,这并不意味着科研仪器的公司,在利用 IoT 产品进行系统优化方面更具优势。另一个需要考虑的因素是 IT 流程的成熟度。各种类型的组织机构都可能会因采用 IoT 而获益;然而,要想达成这一目标,它们所需采用的模型却各不相同。

让我们进一步分析一下 IT 成熟度水平这个因素。举例来说,科学研究仪器供应商或许拥有先进技术,但却可能缺乏强有力的 IT 架构、流程和 IT 治理能力。与之相反,矿业设备制造商或许拥有非常成熟的内部 IT 流程。对科学研究仪器公司而言,IoT 将让它们能够对安置在现场的仪器设备进行功能升级;但面对由多种类型设备组成的实验室信息生态系统库,公司并不一定愿意尝试去进行优化。(当然,以 IT 作为成本中心——例如内部 IT 管理——方面的成熟度不足,并不等于以 IT 作为利润中心——例如 IT 产品——方面成熟度的缺失;但当开发或拓展 IT 服务的时候,许多组织机构都选择在现有的基础 IT 能力之上构建。)在去年的哈佛商业评论(Harvard Business Review)中,讨论了一个矿业设备领域的例子:Joy Global 是一家矿业设备制造商,其专家团队横跨与采矿作业相关的多种系统和流程。Joy Global 以此为依托,针对来自多家供货商的一系列设备,提供监控、维护和优化的服务 4。

了解 IoT 能力

接下来,应该考虑一下使用智能联网设备中的哪些能力。刚刚提到的哈佛商业评论刊登的文章 4 指出,IoT 包含四种类型的能力:

  • 监视——传感器提供关于运行环境、产品使用和性能方面的数据;
  • 控制——可以控制并定制个性化产品功能;
  • 优化——来自监视与控制的反馈回路,能够提供更高的效率、更好的性能、预防性维护,以及诊断和修复;
  • 自治——监视、控制和优化将支持独立运行、不同系统间的协作、与环境交互、个性化、补给,以及自我诊断和修复。

这四个层级的能力,将为重新定义供应链并重新配置价值链提供支持。我们不应该抱有产品的功能应固定不变的观点;相反,我们应该认为它们将更具灵活性和适应性。那些智能联网设备和产品将具有可变特性,并能够随着用户需求的变化而改变。在数年以前,软件制造商就已经认识到了这一点。而现在,物理对象也正在逐渐转变为软件驱动功能的载体或容器。上述这些层级的能力要求越来越精密的数据分析方法——从收集和应用数据,到支持算法自身运用数据并在同时进行学习。

第一个层级的能力——监视——将成为一套实时的机制,我们可以运用它更好地了解现场情况和用户需求,并提供新的能力。这意味着组织机构的传统产品和服务将不再泾渭分明,而且二者的边界将彼此渗透。在过去,现场设备的维护由某个现场服务承包公司承担,设备制造商的业务并不涉及此环节。而在智能设备与监视能力结合后,设备可以在故障发生前将所需的服务提前告知制造商。同时,设备制造商也可以将常规维护纳入自己的服务范畴。不过,如果利润和物流对组织机构而言是个问题的话,那么复杂的维修工作将依旧由专业承包商完成。这一“去中介化”(disintermediation) 的模式也可以运用到分发链中。设备可以自动发起补充供应的请求,从而降低甚至消除供应链中的物流和库存压力。

控制是建立在监视之上的更复杂的应用。我们可以监视设备运行情况,并通过控制设备的多个部分或多个系统,来扩展人工干预的边界。想象一下,在操作大部分功能都是自动化执行的系统或机器时,人类所扮演的角色:人类指导机器运转,并寻找系统设计的时候没有预料到(或是基于经济划算的角度未设计应对预设)的边界条件、异常和例外。接下来,人类使用自己的判断做出变更、纠正或调整。我们并不需要(在空间上)与设备在一起,或许我们也无需实时监视它们(这取决于流程)。我们通过监视层面采集数据并进行处理(某些数据处理必须在特定时刻完成),并通过控制层面将这些数据实时(或准实时)地运用到设备或装置的运行上。需要组织机构做出的战略决策是,是否以及何时在产品中提供更多的控制能力,以及是将其作为一种服务向客户开放,还是让客户拥有这些功能。

第三个层级的能力——优化——可以拓展到某个单体对象、一系列对象,或是一套由来自多家制造商、使用不同技术的对象组成的生态系统的表现方面。是否将提供的服务拓展到这一领域,取决于围绕着价值链和流程边界的知识和经验的水平。前面提到的矿业的例子,反映出 Joy Global 与供应商相比的优势,主要在于拥有在流程生态系统中更加聚焦的视角。以卡车制造商为例,它无法很好地优化复杂的矿业设备,但却会凭借对自己的一系列卡车(以及潜在的一系列其他制造商生产的卡车)进行优化而获益——如果行业动态确实具有商业意义的话。

要将优化的范围延伸到独立运行,还需要对这三个层级的能力进行一些拓展,以支持与环境及其他系统进行受限程度更低的交互。自治要求围绕着算法提供更多的智能,以便应对计划外的情况——程序员和系统工程师未能明确设计这些情况下的方案。自主运行需要整合具有适应性的机器学习方法,以应对新出现的情况,并将之纳入到用于监视、控制和优化的核心算法中。

了解分析和机器学习

2014 年 11 月,施乐公司帕洛阿尔托研究中心的 Mike Kuniavsky 在 IDTechEx 上进行了一场名为“IoT 领域中预测分析方面的用户体验”的演讲。在演讲中他表示,我们应该将几乎所有功能都存放(或是在不久的将来存放)在云上。数据和功能可以从任何位置、通过任何设备访问。而专业设备则提供用户访问数据的环境。

健康手环可以通过 iPhone 或笔记本电脑,在特定的锻炼环境中访问用户的身体健康数据。在这种情况下,健康手环扮演了 IoT 传感器的角色,同时也提供了访问和使用数据的一种途径,而且它还通过软件功能包含了其他一些设备(例如计步器)的能力。设备上产生的数据可以为厂家提供额外的洞见,帮助其了解消费者的使用情况和喜好,并藉此升级功能或开发新特性。如果汇聚来自用户群的数据并结合其他数据集,那么新的洞见可以阐明流行病方面的数据、人群活动水平、生活方式和人口统计数据。对市场人员、健康服务提供者、保险公司和政府机构来说,这些信息具有宝贵的价值。(当然,我们必须认真对待隐私和数据使用许可方面的责任。)

我们可以使用机器学习算法,基于这些数据模式作出预测。例如,在一份来自 Mayo Clinic 的研究中,发掘出了活动数据与心脏病人恢复速度的相关性 5。

同样的机器学习和预测算法也是许多联网智能消费设备的基础。例如,Nest 恒温器是一套能够使用数据模式的设备,它预测消费者对于某个特定房间、在一天中的某个特定时刻的温度要求。(另一个控制和优化的例子体现在聚居区的层面。在获得了业主许可的情况下,电力设施可以通过远程调节的方式,控制成百上千的 Nest 设备,将室温调高或调低几度,从而完成高峰期的用能负载调度)。这类消费设备涵盖了从声音模式(例如亚马逊的个人助理输入设备 Echo6)到更复杂的行为和活动模式(例如捷豹的路虎监视系统,它依赖于一套复杂的软件系统,该系统让汽车能够学习、预测和检查,并提醒车上的乘客帮助驾驶员自动委派次要任务,以便驾驶员将更多的注意力集中在驾驶上 7)进行学习的范围。

优化算法通过使用机器学习机制,来利用从动态环境下交互的传感器和智能设备传回的数据。算法不能基于特定的参数,精确地预测这些多变的情况,而是需要不断地感知、响应并适应。例如,随着汽车从驾驶员身上分担了更多的责任,它们需要与周边环境中更多的数据来源进行交互(传感器、灯光、其他车辆等等)。在工业自动化、物流和交通运输、电力网络与能源系统、交通管理、安全系统以及其他“系统的系统”等领域中的各类应用,都将让机器直接与其他机器进行交流。此外,这些应用还将基于能够演进和自适应的算法,帮助机器翻译数据流,从而使机器能够依据给定的运行参数达到要求的最终状态。

反思业务模型和价值链

智能联网设备要求组织机构重新检视,它们处在市场中的什么位置、以什么方式创造价值,以及这些价值将如何随着竞争环境和信息生态系统的演进而增加或减少。分析将帮助验证某些决策(例如,在对特性进行变更或是增加服务和功能后,获得实时使用数据);不过,市场新进入者和新的价值链结构或许会对业务模式带来巨大的转变,而基于公司传统业务模式做出的分析将不再具有相关性。因此,产品或服务的基础,或许会转变为来自传统产品的数据流,而不是来自产品本身的收入。新的业务模式将得以延展,甚至有可能远远超出产品本身的范畴,覆盖上游供应商或下游消费者。

最重要的是,所有这些可能性,都会要求组织机构拥有围绕着其内部数据健康度和用于分析的基础设施的基础能力:数据“打捞”(curation)、所有制和质量标准、具有一致性的企业架构、干净整洁地集成在一起的系统、自动化的数据载入流程,以及成熟的分析专家。如果欠缺或未能有效管理这些基础条件,组织机构将很难进行快速反应,并演化出新的分析和数据管理功能与能力。

IoT 将基于数据流和复杂的方法,从信息中获取洞见,并通过与企业知识整合,将之运用到价值创造方面。而不具备这些能力的组织机构将在市场上落后,或是降级到低价值、低利润的层次。数据被称为“新的石油”——我们可以拓展这一比喻,这意味着通过分析能力中的知识提炼环节,数据将被精炼为高价值产品。组织机构现在就需要在构建此类基础设施的方面投入资源,以便为接下来数年中应对供应链和价值创造环节的转型、扰动和颠覆做好准备。信息敏捷性将成为必备的核心能力。

参考内容

  1. Gartner:2020 年物联网设备安装基数将增长到 260 亿个单元”,Gartner,2013 年 12 月 12 日;
  2. 分析这个领域:工业互联网的数字和成果”, GE,2013 年 10 月 7 日;
  3. Gartner 2014 年新兴技术成熟度曲线:数字化商业路径发展图”,Gartner,2014 年 8 月 11 日;
  4. M.E. Porter 及 J.E. Heppelmann,“智能联网设备如何改变竞争”,哈佛商业评论,2014 年 11 月期,70 至 86 页;
  5. D.J. Cook 等,“高龄患者术后功能恢复:对使用无线技术进行移动性恢复的评估”,胸外科年检,2013 年 3 期 96 卷,1057 至 1061 页;
  6. D. Etherington,“ Amazon Echo:整合 Siri 风格语音助手、永远在线的 199 美元的联网音箱”,Tech Crunch,2014 年 11 月 6 日;
  7. M. Mendoza,“捷豹和路虎开发自学习智能汽车”, Tech Times, 2014 年 7 月 17 日;

关于作者

Seth Earley**** 是 Earley & Associates 的 CEO。他是知识处理和客户体验管理战略领域的专家,其兴趣包括客户体验设计、知识管理、内容管理系统和战略,以及分类法。读者可以通过 seth@earley.com 与他联系。

本文最早发表在 IEEE IT Professional 杂志上。针对当前的战略技术问题,该杂志提供了经过同行评议的可靠信息。来自 IT 专家的最先进的解决方案,将帮助 IT 管理者和技术领袖们,以可靠、灵活的方式运作企业并应对挑战。

查看英文原文: Analytics, Machine Learning, and the Internet of Things

2015 年 7 月 31 日 00:274359
用户头像

发布了 256 篇内容, 共 49.0 次阅读, 收获喜欢 2 次。

关注

评论

发布
暂无评论
  • 使用 AWS IoT 服务进行资产状况监控

    工业物联网 (IIoT) 为每个行业提供了一个无与伦比的机会来应对核心业务挑战,例如减少停机时间、提高安全性、增加系统输出、降低运营成本,以及创建创新服务和业务模型。

  • 大咖对话 | 陈天石:AI 芯片需要技术和资本的双重密集支撑

    寒武纪作为国产 AI 芯片创业领域的头部独角兽,如何在巨头涌入芯片赛道后继续保持“独立”?我国芯片产业的前景何在?芯片产业当下的挑战和未来的发展趋势又是什么?

    2019 年 3 月 8 日

  • 大数据分析服务登陆企业级云端市场

    最近,包括IBM在内的多家IT巨头宣布推出企业级云端市场,提供全面的大数据与分析能力,将云厂商、合作伙伴及第三方的“功能即服务”集中起来,提供企业需要的安全性和灵活性。

  • 物联网的一种参考架构

    本文是两篇系列文章中的第一篇,我们在将这一系列文章中首先从一个抽象的角度了解IoT的参考架构,然后分析具体的架构与所选择的用例的实现。第一篇文章将涵盖更具体与完整的架构中的各种定义,而第二篇文章将通过实际的用例应用这种架构。

  • “望闻听切”:大数据让 PHM 完成质的蜕变

    本文来自《百分点大数据技术》系列。

  • 分析企业的两要素:远见和执行力

    本文介绍飞总通过看企业的远见和执行力来分析企业的方法。它源于Gartner魔力象限图的启发,是非常有效的一种分析方法。

    2018 年 6 月 6 日

  • 预测性维护的回报与挑战

    预测性维护并不新鲜,但现在比以往任何时候都多,随着工业物联网(IIoT)和人工智能(AI)的发展,预测性维护可以为制造商节约大量的成本。

  • AI+ 城市智能体:聚焦新一代智慧城市的 PISC 架构

    演讲嘉宾齐国君 华为美国研究所 技术副总裁&城市智能体首席科学家内容介绍城市作为人类文明高度发展的产物,为人类活动提供了一个进行高效分工协作的平台。随着现代技术和文明的发展,高效地运营和管理城市,优化城市基础设施,越来越成为一个全新的、跨领域的重要的课题,特别是研究如何利用新一代人工智能技术的飞速进步,从设计规划、智能设施布局到运营,以此最大化城市的效率,提高市民的工作、出行和生活体验,建立智慧型的新一代城市。在本讲座中,我将从城市智能体的角度,并以智能交通为例,系统地介绍基于人工智能技术的PISC架构在交通态势感知(Perception)、推理(Inference) 到决策(Strategy)和控制(Control)上的应用。我们将详细介绍基于胶囊投影的深度学习算法(Capsule Projection Networks)、交通图计算(Graph Computing)以及各种交通策略以及控制算法的实现。内容大纲 智慧城市的发展和现状; 城市智能体的基本架构PISC; 智能交通态势感知; 智能交通推理; 智能交通决策和控制。

    2019 年 1 月 7 日

  • AWS 发布五大用于工业领域的机器学习服务

    AWS Panorama Appliance帮助已在工业设施中装配摄像机的客户使用计算机视觉来改善质量控制和工作场所安全

  • 物联网的一种参考架构(第二篇)

    本文是两篇系列文章的下篇,我们将通过精选的用例从抽象层面介绍IoT参考架构的基本架构和具体实现。第二篇文章将介绍如何将这一架构应用在现实用例中,本文会涉及两个用例:智能家居和保险行业。

  • 安全性至关重要的产品开发过程中 ALM 为何不可或缺

    对于生命和安全至关重要的环境中,集成式应用程序生命周期管理平台是一种先进的产品开发方式。Medtronic Neuromodulation使用ALM让这一过程实现现代化的故事可以帮助我们理解以软件为主的复杂产品开发过程的当前和未来发展趋势。

  • 第 182 讲 | 谢文杰:区块链的下一个十年

    可能这个世界还缺一次生产力的突破,突破到现有的交易网络不能承载,突破到我们需要一个更高效的交易网络。

    2019 年 3 月 6 日

  • 是否该重新思考企业架构了?

    Gabriel Morgan认为是这样。每天业务的变化越来越快,IT则越来越慢。对于他来说,EA框架并不具备整合业务和IT的功能。在他的团队开始聚焦公司转型和采用业务管理概念来替换原有企业架构之后,他共享了这些经验。

  • 机器人的未来:2017~2020 年的 10 个预测

    IDC公司全球机器人项目研究总监张敬兵博士,他关注机器人行业趋势,当前关注机器人时代的机遇和挑战。不久前,张博士结合当前形势,进一步介绍了全球机器人发展的新趋势、推动机器人设备市场需求日益增长的关键因素,以及机器人应用产生的影响、机遇和挑战。在本文中,张博士介绍了他对2017年至2020年的重大战略预测以及机器人技术的主要发展趋势。

  • 中台:数字转型后到底应该共享什么?

    今天我们主要讨论业务中台和数据中台。

    2019 年 11 月 1 日

  • 深度解读:深度学习在 IoT 大数据和流分析中的应用

    在物联网时代,大量的感知器每天都在收集并产生着涉及各个领域的数据。由于商业和生活质量提升方面的诉求,应用物联网(IoT)技术对大数据流进行分析是十分有价值的研究方向。这篇论文对于使用深度学习来改进IoT领域的数据分析和学习方法进行了详细的综述。从机器学习视角,作者将处理IoT数据的方法分为IoT大数据分析和IoT流数据分析。论文对目前不同的深度学习方法进行了总结,并详细讨论了使用深度学习方法对IoT数据进行分析的优势,以及未来面临的挑战。

  • AWS IoT Events:大规模地检测和响应事件

    您可能已从我们的许多通告中发现,过去四五年中我们已在转变,目前我们正在建造一套内容广泛的物联网 (IoT) 服务和功能。

  • 白皮书:物联网的核心原则

    本文概述了在制定物联网 (IoT) 策略时应考虑的核心原则。

  • 特别放送|史凯:建设数据中台到底有什么用?

    数据中台的愿景,就是打造数据驱动的智能企业。

    2020 年 4 月 8 日

发现更多内容

负载均衡

满山李子

上亿数据怎么玩深度分页?兼容MySQL + ES + MongoDB

Kerwin

Java MySQL ES 深度分页

JVM详解之:java class文件的密码本

程序那些事

Java JVM class GC 密码

C、C++、Java到Python,编程入门学习什么语言好?

华为云开发者社区

c c++ Python 编程语言 Java 分布式

week6 学习总结 Nosql

Z冰红茶

并发业务中,线程安全与否很重要,来看看你懂多少?

Java小咖秀

Java 多线程与高并发

【week06】总结

chengjing

我在阿里积累到的撰写数据分析报告经验

DeeperMan

大数据 数据分析 数据可视化

朱嘉明:区块链对深入改革的意义何在?

CECBC区块链专委会

区块链技术 政策扶持 块链与经济 区块链功能 产业数字化

Doris 临时失效 UML 时序图(训练营第六周)

看山是山

Doris

天猫小店、京东小店的问题分析

石云升

价值网络 新零售 天猫小店

CAP 原理

Z冰红茶

我学会了用Python预测股票价格

博文视点Broadview

Python 读书笔记 算法 数据分析

程序员的眼界真的不要,也不能只局限于技术

非著名程序员

极客时间 程序员 提升认知 程序员成长

rdd序列化

InfoQ_6cf02607664f

架构师训练营第六周

大丁💸💵💴💶🚀🐟

探秘 Spring 的 PropertyEditor

CoderLi

Java spring 后台

Java这么优秀,我当然要深入啦

程序员小跃

Java Lambda

【week06】作业

chengjing

架构师训练营作业(6周)

邵帅

最右JS2Flutter框架——渲染机制(二)

刘剑

flutter 前端 跨平台 探索与实践

NOSQL - 第六周作业

孙志平

MySQL 高可用和分布式数据库(训练营第六课)

看山是山

zookeeper CAP 主从复制 主主复制 MySQL 高可用

Apache Flink 是什么?

Apache Flink

flink

Redis进阶篇二——持久化

多选参数

redis redis6.0.0 redis集群 redis持久化

架构师训练营(6周)

邵帅

职业发展的迷茫与困境:你真的了解职级体系吗?

伴鱼技术团队

技术管理 人才培养 程序员成长 职业成长 技术人生

计算机网络基础(三)---网络层-IP协议的转发流程

书旅

php laravel 网络协议 计算机基础 网络层

图解:有向环、拓扑排序与Kosaraju算法

淡蓝色

Java 数据结构 算法

GaussDB for DWS:内存自适应控制技术总结

华为云开发者社区

大数据 数据湖 内存管理 sql 华为云

「1.4万字」玩转前端 Video 播放器 | 多图预警

阿宝哥

前端 流媒体 Video播放器 HLS

InfoQ 极客传媒开发者生态共创计划线上发布会

InfoQ 极客传媒开发者生态共创计划线上发布会

数据分析、机器学习与物联网-InfoQ