写点什么

华为云 EI- 实时流计算服务,让生产和生活马上聪明一点

  • 2020-04-03
  • 本文字数:1645 字

    阅读完需:约 5 分钟

华为云EI-实时流计算服务,让生产和生活马上聪明一点

实时流计算,快数据时代的核心引擎

当前大数据已广泛进入企业生产过程,数据逐步变成了生产力,驱动企业快速发展,人们也越来越多的认识到,数据价值挖掘的时效性已经成为了企业竞争力。快数据时代,越实时越有价值,实时流计算已成为核心引擎,对应的开源社区实时技术也得到了越来越多的应用。


刚刚过去的 2018 年 Flink Forward 大会(美国旧金山召开),吸引了全球各地的大数据爱好者,各大企业如谷歌,易趣网,阿里巴巴,Uber,Netflix 等公司也分享了在实时流计算方面的应用,华为流计算专家时金魁也受邀参加,会上分享了华为云上实时流计算的创新与实践:Flink real-time analysis in Cloud Stream Service。华为率先将 Flink 进行服务化改造,在华为云上对外提供能力,吸引了社区广泛的关注。



Flink 大会现场


华为在大数据实时流计算领域已经有历时 5 年的技术积累,在电信领域也经历了严苛的检验,并在 2017 年 8 月在华为云上作为服务(CloudStream)的形式开放。CloudStream 服务具备什么能力?如何基于社区能力快速进行创新?如何做到对 IoT 等行业流式数据实时检测,快速挖掘数据背后的价值?看专家为您带来的独家解密。


华为云 CloudStream 作为实时流计算服务,微秒级的计算性能为企业挖掘实时数据价值提供了核心能力,其中有几个关键能力体现如下:

生态丰富 完全兼容社区接口


Flink 和 Spark Streaming 是目前业界主流的流计算引擎,两者以不同的设计思想(前者是原生流式计算,后者是微批处理计算)各领风骚,都有着活跃的开源社区支撑。CloudStream 集成了 Flink 和 Spark Streaming,双引擎方式很好的连接了开源生态,完全兼容开源社区接口,同时 CloudStream 提供丰富的任务提交方式,如 Flink SQL/Flink Jar job/Spark Streaming and structured streaming jar job,方便业务人员平滑迁移线下业务上云。

StreamSQL 的创新 使用更简单

CloudStream 采用 Serverless 架构,用户无需关心基础设施的管理,即来即用,服务提供 SQL 编辑器,采用简单的 SQL 方式即可完成实时流作业的定制,无需复杂的编程,如下图:



在 IoT 场景中,大量业务场景需要对实时数据流进行复杂事件模式(CEP)的检测,例如车辆异常行为检测、工业设备异常运行状态等检测,CloudStream 扩展了 Flink SQL,提供了非常高效的 CEP on SQL 的能力,提供了基于 Match Recognize 的模式匹配检测,可以帮助业务人员使用 SQL 实现基于复杂事件规则的异常检测业务,无需开发 Flink PATTERN API 自定义业务,只需要一行 SQL 查询语句就能搞定,大大降低了此类业务开发难度。


时空分析 做行业的快速使能者

IoT 大量业务场景需要对时空数据进行实时的地理位置分析,如电子围栏、偏航检测等。CloudStream 提供了一套完整的基于地理位置分析的 SQL 语法,方便用户进行快速的开发,语法包含三方面,具体如下:



其中:


1) DDL for Time GeoSpatial:快速定义基本元素,例如点、线、多边形、圆等;


2) SQL Geospatial Scalar Functions :对基本元素的操作,例如计算两点间距离、判断区域是否覆盖、分析距离相交包含关系等;


3) SQL Time Geospatial:在窗口中对基本元素的基本操作,例如计算多种窗口的平均速度和距离等。


使用 CloudStream 完成实时地理位置分析的任务,整体流程如下:



时空分析在 IoT 车联网场景中应用广泛,可以进行车辆轨迹回放,偏航检测,电子围栏,区域范围的出行流量统计等等,以此来指导交通路线规划,流量控制等,下面是三个通过 StreamSQL 实现的车辆网中常见的时空分析示例:



大数据时代,特别是云时代的到来,越来越多的企业摒弃了自建数据中心,选择上云,聚焦云上新技术给现行业务带来的创新与改变,天下武功,为快不破,华为云实时流计算服务除了在开源生态,CEP,SQL 等方面继续增强之外,还在边缘计算,在线学习等方面不断突破,致力于为企业及行业合作伙伴在海量数据和业务创新应用之间构筑一条纽带,让数据马上聪明一点,让价值即刻呈现。


本文转载自华为云产品与解决方案公众号。


原文链接:https://mp.weixin.qq.com/s/Sx-4Drm_lQMrNr7nIjZVBg


2020-04-03 13:331229

评论

发布
暂无评论
发现更多内容

如何学习业务架构技术

执于业务

Mac文件管理器和FTP客户端ForkLift中文破解版 支持M1和mac14系统

Rose

支持M1/M2/M3:Omi NTFS磁盘管理助手下载

Rose

终端SSH工具SecureCRT如何使用? mac SecureCRT使用教程 附SecureCRT永久安装密钥

Rose

你应该知道的21个html小技巧

南城FE

html 前端 代码优化

软件业务模型

执于业务

It is what it is

Echo!!!

English

Linux网络名称空间和Veth虚拟设备的关系

GousterCloud

【Mac/win永久激活】Acrobat Pro DC 2024直装便携版

Rose

Mac破解软件:Beyond Compare 4 中文版永久密钥

Rose

mac虚拟机系统镜像下载-Windows11系统镜像安装包 及PD虚拟机安装包

Rose

嵌入式软件开发应该掌握哪些知识?

芯动大师

嵌入式程序 嵌入式开发 嵌入式系统软件开发

大揭秘!时习知如何助力华为2024年中国政企合作伙伴商务精英赛?

平平无奇爱好科技

华为云耀云服务器X实例:柔性算力新物种,更强更省更智能的云基础设施

平平无奇爱好科技

好用的代码编辑-sublime text mac 中文最新永久注册码

Rose

业务模型设计方法和实例

执于业务

Linux网络名称空间之独立网络资源管理

GousterCloud

网络 Linux Kenel

百度获评CCIA数据安全和个人信息保护社会责任评价“三星”示范单位

百度安全

数据安全 隐私合规

《计算机程序设计艺术(第1卷):基本算法(第3版)》PDF

程序员李木子

新质生产力,点燃终端厂商的“办公”激情

脑极体

AIPC

草图大师2024下载 SketchUp Pro mac中文一键破解版

Rose

百度智能云向量数据库 VectorDB 性能报告

Baidu AICLOUD

向量数据库

深入理解Linux veth虚拟网络设备:原理、应用与在容器化架构中的重要性

GousterCloud

Linux Kenel 虚拟网卡

Linux网络名称空间概述

GousterCloud

Linux Kenel

学习 XSLT:XML文档转换的关键

小万哥

xml 程序人生 编程语言 软件工程 前端开发

华为云EI-实时流计算服务,让生产和生活马上聪明一点_服务革新_华为云产品与解决方案_InfoQ精选文章