QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

干货分享:智慧工厂时代下大数据 + 智能的深度实践(下)

  • 2019-10-09
  • 本文字数:3091 字

    阅读完需:约 10 分钟

干货分享:智慧工厂时代下大数据 + 智能的深度实践(下)

11 月 23 日,由七牛云主办的主题为「AI 产业技术的渗透与融合」的 NIUDAY 小牛汇共享日在北京举行。会上,七牛云技术总监陈超为大家带来了题为《数据智能时代的智慧工厂实践》的内容分享。


下面简单介绍 Pandora 平台的产品模块:



收集界面可以完全可视化的收集,几乎可以看到所有的数据源。



日志搜索。用过 ES 的都可以发现,我们这个其实是比 ES 功能更强大,可以帮你原生的做出很多报表来,并且可以按照时间、字段进行关联分析等等。我们也支持上下文的检索,检索完一个日志以后想看看上面发生了什么,下面发生了什么都是原生支持的。这个现在叫做搜索即报表,搜索以后直接通过报表的形式呈现,非常方便。



数据立方是为了弥补之前搜索场景的一些弊端。当我的数据表特别宽的时候,效率基本上就没法提升,所以数据立方本质上解决的是一个多维度的实时的分析。七牛云现在内部所有的类似于 Nginx 的分析全部都迁移到这上面来了,之前查询是 15 秒左右,现在我们查询是 200 毫秒左右,特别快。


数据立方目前应用较多的场景是广告点击,然后就是流量实时监控和安全事件的分析。我们每天进入数据立方分析的数据大概在 50 个 T 左右,50 个 T 进去分析完,落地基本只有 50 个 G 或者 100 个 G 左右,所以是一个低成本、高效率的分析引擎。



右边的图是我们一个线上的图,可以看到实时响应的时间是 69 毫秒,过去一天平均响应时间是 67 毫秒,过去七天的时间甚至一个月的时间,实际上拉长时间宽度,监控报表的响应时间也不会变长。



应用服务器监控。有一些应用市场在里面完全不需要配置,把我们的东西装好这些内容就自动有了。



全链路监控也是在应用市场里面的,现在应用市场里面有三块内容:服务器监控、全链路监控、CDN 分析。我们全链路的监控可以看出服务拓扑、定位性能瓶颈等等,看到访问时间落到什么时间段内,有时候一到高峰期,可能时间就开始变慢了。全链路监控能给你从端到端的分析,从前端开始发送数据,到下面每一次调用都可以很强大的把具体的内容显示出来。七牛云内部这一块基本上全部覆盖了,也就是说大家每次访问七牛云存储的图片,就有这个东西在背后做支撑。



报表在这里不细讲,我们在这方面做的目前已经相当不错,客户反映也非常好。



这个是帮杭州一家公司做的安全的监控大屏,也是比较酷的一个屏幕,让他们放在运维的大屏幕上。


接下来重点介绍机器学习。


机器学习会有一个特点,我们是做异常检测的,也就是现在比较流行的 time series 分析。做这个事情如果还要暴露算法的话就对用户太残忍了,所以我们花了特别大的功夫在背后大概做了十几种算法,然后做自动的融合,算法对用户完全屏蔽。用户只要选择一下他的数据源是什么,就可以帮他做实时分析和预测。



在平台上要如何使用这个东西?首先,你要对这个数据源做异常检测,它就会出来一个图,告诉你我要预测;我要预测多久,说预测一天,右边紫色的部分就会把预测时间给打出来。所有异常点会在下面展示出来,七牛云现在整个容量规划包括一些高峰期的预测全跑在上面,效果是非常好的。



其实这个事情真正的引发了我们跟工厂合作的一个契机,今天展示出来的是一个老版本,我们有一个新版本还没有发布,是一个完全更自动化的一个 AI 产品。将日志往里面打,打完以后机器会自动判断是否有异常情况,不需要定义异常,机器算法就会帮你发现异常。



这是集成智能告警系统,可以看到整个系统完整性还是比较好的。



这是平台目前的一些数据,300 多个企业,每天 400T 数据,总数据量 60 个 P,吞吐量 1000 万条/秒。

智慧工厂实践案例

智慧工厂的实践,我们目前跟几个单位有深度合作,而目跟我们合作最紧密的是晶盛机电



晶盛机电目前是光伏产业链装备最齐全、技术最强的装备龙头企业,相继开发出具有完全自主知识产权的全自动单晶炉、多晶铸锭炉、区熔硅单晶炉、蓝宝石炉,成功开发并销售多种光伏智能化装备。而我们目前的合作,主要是针对单晶炉。



上图可以看到,在单晶硅的生产过程当中,左边是他们的炉子,有很多传感器装在这个上面,之前是每 5 分钟或者 15 分钟甚至一小时才会采集一个点出来,因为数据实在太多,很难高效紧凑的存下来并做进一步分析, 但是这些数据里面的信息又非常重要。所以我们需要有个更加强大的方式,来做采集、传输、存储、分析及挖掘。



我们做的事情就在这张图上可以整体显示出来,从端到端一直跟他们一起合作。在晶盛环境里,他们做了各厂商数据采集和指标的抽取,抽取之后我们的业务专家会帮他们来初步的提取指标参数跟公式,因为一开始不知道什么好坏,很难客观评价。像我们这样的互联网公司要做智慧工厂,不了解他们的业务,只靠所谓的 AI 算法,是根本不可能的。所以,我认为「有多少人工就有多少智能」这句话有时候是对的,人工智能这个东西应该是一半一半来看,在前期真的是有多少人工就有多少智能,来跟业务专家一起来观察。


到一定阶段之后,会由量变产生质变。进入七牛云平台,把指标公式库、业务逻辑、元数据、数据处理等全部放进去,基于数据存储引擎去帮他做一个完整的分析,目前我们主要用到了若干个个传统的机器学习方法和两个深度学习的方法。但是在又遇到一个挑战,包括前面讲的异常检测一样,在这个公司里面做深度学习是不能用 GPU 的,他现场没有 GPU,所以只能做 CPU,我们对 CPU 算法做了很多优化。



这是我们做的东西,我觉得这个事情有一定的普试性。智能检测部分,我们做模型训练、异常检测、趋势分析,数据分析那边做了这个单晶炉的体检系统,体检系统指得是我这个炉子出问题需要要检修了,就不往里面倒原料来进行单晶提取了。如果原料进入出问题的炉子就要废掉,光这些原料的钱就要好几十万。目前的阶段,我们花的最大的力气是在智能检测这一端,之前是在数据分析和可视化。



这个是我们给他们看的一个界面,可以看到要跟工艺专家一起来搞出一些评价指标等,再把这个评价指标通过机器学习的方式来进行分解。如果有一个东西不好了,要判断它是什么原因引起的,然后再判断这个原因又是因为什么原因引起的,层层往下。这个过程像极了传统运维根因分析的需求,我们要找到造成这个问题的根本原因,用这个理念来帮他做这个事。



可视化就是,一开机就可以体检炉子是几分,如果是 60 分以下这个炉子今天就不要生产了。



智能检测就是利用里面的一些数据进行检测,但现在我们觉得,最有价值的地方不是在于明显的异常点,而是在于一些不是那么突出的异常点,但是它的趋势又特别突出,比如突升突降,这种以前是发现不了的。以前的做法就像运维一样,都是低于这个数或者高于这个数就是异常,但是有些时候,趋势也可以成为一种异常。



我们把离线训练跟实时训练分开来做,离线训练我们做了一些离线数据集。之前单晶炉的历史数据进行一系列的无监督算法,来进行一个打标的过程。打标之后会有一个投票策略,保留正样本和负样本,丢弃中间样本。


然后从无监督算法出来以后,带有一个 label 的一套数据集,这样真正进入我们给他使用的数据集里面,就是深度学习算法。当数据进来以后会跟下面的实时数据直接做融合,相当于最终给用户看的数据全部是由深度学习的算法来做的。传统的机器学习在这边主要是用来做打标的过程。我们其实做了一些尝试,就是在不改变逻辑的情况下,移植到另外一个工厂的设备当中发现它完全可用,但是只发现有结果,没有办法从业务上以及从他们真正的场景上解释,因为不懂业务,所以做这些事情需要真正懂业务的人 + 技术专家一起做。


目前我们双方仍然还在一起努力完善这套系统,我相信在不久的将来,这套系统一定会大放异彩。


以上是我的分享内容,谢谢大家!


本文转载自公众号七牛云(ID:qiniutek)。


原文链接:


https://mp.weixin.qq.com/s/HPwsc7NiuR6zmAYi4xpoIw


2019-10-09 18:22908

评论

发布
暂无评论
发现更多内容

Pytorch基础-张量基本操作

嵌入式视觉

张量的基本操作 维度变换 索引切片 合并分割 卷积相关算子

WorkPlus平台多业务系统集成,让企业沟通协作更畅通

BeeWorks

高性能存储SIG月度动态:DSMS开始适配Anolis OS、将在ANCK 5.10中支持ublk | 龙蜥 SIG

OpenAnolis小助手

开源 操作系统 高性能存储 龙蜥社区 sig

Bonree ONE荣获信通院“2022IT新治理年度明星产品”

博睿数据

根因分析 博睿数据 荣誉奖项 Bonree ONE

科技创新实力受认可,网易有道入选 2022 中国技术品牌影响力企业榜

有道技术团队

技术 数据分析

阿里云张献涛:无影,让计算触手可及

云布道师

无影云电脑

湖南卫视携手华为云 打造跨年晚会“最炫科技风”

极客天地

Seata 1.6.0 正式发布,大幅度提升存储性能

阿里巴巴云原生

阿里云 seata

初识PHP(1):PHP是什么

华为云PaaS服务小智

php

软件测试 | 测试开发 | 相比Selenium,Web自动化测试框架Playwright

测吧(北京)科技有限公司

测试

Java Agent 踩坑之 appendToSystemClassLoaderSearch 问题

阿里巴巴云原生

Java 阿里云 容器 云原生

RayLink远程控制软件:叮~你收到一份年度关键词报告

RayLink远程工具

远程控制软件 RayLink

精华推荐 |【深入浅出Sentinel原理及实战】「原理探索专题」完整剖析Alibaba微服务架构体系之轻量级高可用流量控制组件Sentinel(1)

码界西柚

sentinel 1月日更 Sentinel 系统

TiDB 6.5 LTS 发版

PingCAP

#TiDB

Kyligence 客户案例“泰康集团精细化经营分析与运营平台”获评数据智能最佳实践案例

Kyligence

数据分析 指标管理

消息收发弹性——生产集群如何解决大促场景消息收发的弹性&降本诉求

阿里巴巴云原生

阿里云 RocketMQ 云原生

喜报|3DCAT入选“灵境杯”深圳市最佳元宇宙案例!

3DCAT实时渲染

虚拟现实 元宇宙 增强现实 实时云渲染 元宇宙开发

InfoQ写作社区 2022 年度优质创作者评选名单公布!

InfoQ写作社区官方

热门活动

企业专用的即时通讯产品如何选择?

BeeWorks

Apipost——让前端、后端、测试共用一份API文档!

不想敲代码

喜报 | 瑞云科技荣获“第四届天鸽奖十大创新企业”等两项大奖

3DCAT实时渲染

元宇宙 3DCAT 瑞云渲染

2022 InfoQ 写作社区年度优质企业号评选名单公布!

InfoQ写作社区官方

热门活动

云渲染动画价格一般多少?

Renderbus瑞云渲染农场

云渲染 云渲染价格

卷积神经网络的压缩方法总结

嵌入式视觉

知识蒸馏 模型压缩 神经网络参数量化 二值化网络 模型剪枝

关于接口测试自动化的总结与思考

阿里巴巴云原生

阿里云 云原生 TPS

广西首次!3DCAT实时云渲染助力南宁数字气象科普馆上线

3DCAT实时渲染

云计算 云渲染 元宇宙 3DCAT 虚拟数字气象馆

软件测试/测试开发丨如何确保API 的稳定性与正确性?你只需要这一招

测试人

软件测试 自动化测试 测试开发 RESTful API

2022 OpenMLDB 硕果累累,颁奖台上荣耀连连

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

Pytorch基础-tensor数据结构

嵌入式视觉

Tensor torch.tensor() Tensor维度

harbor从1.6.1升级至2.7.0

小黄鱼

Harbor

同盾科技 x TiDB丨实时数据架构为风控智能决策保驾护航

PingCAP

#TiDB

干货分享:智慧工厂时代下大数据 + 智能的深度实践(下)_AICon_陈超_InfoQ精选文章