新技术浪潮正推动着工业制造行业飞速革新，并以人工智能技术为代表，引领着第四次工业革命的进程，“AI+工业”正逐渐成为第四次工业革命的主力军。9月23日，英特尔举办了“智能制造，‘芯’向未来——智能技术助力工业制造勾画未来蓝图”为主题的圆桌论坛，邀请其客户和合作伙伴分享工业智能化升级的实际案例。

本案例中，英特尔联合美的，推出工业视觉检测云平台。利用英特尔的至强可扩展处理器平台、OpenVINO 工具套件英特尔发行版（以下简称 “OpenVINO 工具套件”）、Analytics Zoo “大数据分析 +AI” 平台等一系列产品与技术，为智能方案成功实施和运行提供了坚实基础。通过这些高性能硬件基础设施和软件框架，企业的生产和运营可以实现从自动化向智能化的转变。

项目背景

美的集团（以下简称 “美的”）希望通过完整、可复制的产品缺陷检测方案，来完善其智能制造产业链中的关键环节。如前面提到的，由工业相机、工控机以及机器人组成的传统视觉方案存在诸多问题，例如定制化方案开发周期长、成本高，检测内容多样化造成参数标定繁琐、工人使用困难，占用产线空间大，对工艺流程有影响。因此，美的希望通过新的技术方法来优化和升级检测方案，打造以下能力：

对单个检测项目形成通用的推理算法，并可推广至不同产线；
可在任何产线上做到无缝部署，不干扰现有生产和工艺流程；
在无人工干预情况下做到高鲁棒性，并在全天候高频次下，保证准确率和延迟的稳定；
整个检测过程在 100 毫秒以内完成，识别率达到 98% 以上。

来自生产一线的海量数据资源，让美的具备了利用 AI 技术，特别是深度学习方法，来解决上述问题的基础，并通过与英特尔展开深入的技术合作，提升了算法和算力。如图 2-1-5 所示，美的通过前端高清图像采集、后端训练推理的架构，构建了基于深度学习的工业视觉检测云平台，为旗下各产线提供瑕疵检测、工件标定、图像定位等一系列辅助检测能力。

在这一过程中，英特尔不仅为新方案提供了 Analytics Zoo 大数据分析和 AI 平台，来构建从前端数据预处理到模型训练、推理，再到数据预测、特征提取的全流程，还针对美的各生产线的实际检测需求，为新方案选择了轻锐的 SSDLite + MobileNet V2 算法模型并实施优化，令新方案进一步提升了效果。

基于 Analytics Zoo 的端到端解决方案

如前所述，美的设计的机器视觉检测云平台架构主要由前、后端两部分组成，由工业相机、工控机等设备构成图像采集前端，部署在工厂产线上，经云化部署的英特尔架构服务器集群则组成云平台的后端系统。

在前端，执行图像采集的机器人通常装有多个工业相机，或进行远距离拍摄，用于检测有无和定位；或进行近距离拍摄，用于光学字符识别（Optical Character Recognition，OCR）。以微波炉划痕检测为例，如图 2-1-6 所示，当系统开始工作时，通过机器人与旋转台的联动，先使用远距离相机拍摄微波炉待检测面的全局图像，并检测计算出需要进行 OCR 识别的位置，再驱动近距离相机进行局部拍摄。相机采集到的不同图像，先由搭载英特尔酷睿处理器的工控机进行预处理，根据检测需求确定需要传输到云端后，再将数据传送到后端云服务器，实施深度学习训练和推理。

虽然这一架构并不复杂，但新方案要达到美的希望的灵活、敏捷和高通用性却并非易事。尤其是以端到端方式构建从数据采集、模型训练、算法部署的全流程，如果中间每个环节都由美的自行建设，势必会耗费大量的时间和开发成本，且容易造成软硬件紧耦合和扩展性差的问题。

Analytics Zoo 融合了 Apache Spark、TensorFlow、BigDL 等多种技术框架，可直接运行在英特尔架构服务器构建的大数据集群上，并可通过对英特尔至强可扩展处理器进行深度优化，充分释放强大的性能潜力。同时，Analytics Zoo 所集成的英特尔数学核心函数库（Intel Math Kernel Library，英特尔 MKL）与多线程技术，也帮助美的工业视觉检测云平台大幅提升特征训练、图片预测以及数据批处理等效率。

通过双方的紧密合作，英特尔帮助美的在其新方案后端的云服务器中，基于 Analytics Zoo 构建了端到端数据分析流水线方案。整个方案流程如图 2-1-7 所示，包括以下几个主要步骤：

通过 Spark，方案以分布式方式处理来自各产线工业相机获取的大量视频和图像。其中，Analytics Zoo 使用 PySpark 从磁盘中读取视频或图像数据并进行预处理，构造出TensorFlow Tensor 的弹性分布式数据集（Resilient Distributed DataSet，RDD）。整个训练流程可以自动从单个节点扩展到基于英特尔架构服务器的大型 Hadoop / Spark 集群，无需修改代码或手动配置。
使用 TensorFlow 目标检测 API 接口，直接构建对象检测模型，例如，可以采用轻量级的 SSDLite + MobileNet V2 模型。
直接使用在第一步中预处理的图像 RDD，以分布式方式在 Spark 集群上训练（或微调）对象检测模型。例如，为了以分布式方式处理缺陷检测流水线的训练数据，方案使用 PySpark 将原始图像数据读取到 RDD 中，然后应用一些变换来解码图像，并提取边界框和类标签。方法如下所示：

而返回的 RDD（train_rdd）中的每条记录都包含一个 NumPy ndarray 的列表（即图像、边界框、类和检测到的框的数量），它可以直接用于创建 TensorFlow 模型，并在 Analytics Zoo 上进行分布式训练。通过创建 TFDataset（如下所示），可以实现这一功能。

训练结束后，可以基于与训练流程类似的流水线，直接使用 RDD 评估图像数据集，使用 PySpark、TensorFlow 和 BigDL 在 Analytics Zoo 上，以分布式方式在 Spark 集群上执行大规模模型评估（或推理）；
使用 Analytics Zoo 中 POJO 模式的 API, 将整个 Pipeline 轻松地部署于在线 Web 服务中，以实现低延迟的在线服务（例如，Web 服务、Apache Storm、Apache Flink 等）。实现代码如下：

更多有关详细信息，请参阅：https://analytics-zoo.github.io/master/#ProgrammingGuide/ inference/

通过这样的方法，新方案可以对预处理过的图像进行识别，提取出需要进行检测的标的物，例如螺钉、铭牌标贴或型号等，并通过不断地迭代分布式训练提高对检测物的识别率。最后，系统会将识别结果传递给机械臂等自动化设备来执行下一步动作。值得一提的是，英特尔至强可扩展处理器为新方案提供了另一项关键要素：计算力。部署在该云平台中的英特尔至强可扩展处理器得到了充分的性能优化，其英特尔高级矢量扩展 512（Intel Advanced Vector Extensions 512，英特尔 AVX-512）等技术以出色的并行计算能力，满足了该云平台在模型训练和模型推理时对算力的需求。

基于英特尔架构优化的目标检测算法模型

如前文所述，提升基于机器视觉的工业辅助检测系统的工作效能，关键在于为其选择高效、适宜的目标检测。美的的新方案选择了更适于实时目标检测的SSDLite + MobileNet V2模型。

利用 Analytics Zoo，新方案使用 TFDataset 来表示一个分布式存储的记录集合，每条记录包含一个或多个 TensorFlow Tensor 对象。这些 Tensor 被直接用作输入，来构建 TensorFlow 模型。如以下代码所示，方案通过 TensorFlow Object Detection API 构建了 SSDLite + MobileNet V2 模型：

在模型构建之后，方案首先加载预先训练的 TensorFlow模型，然后使用 Analytics Zoo 中的 TFOptimizer，通过以下方式对模型进行微调训练：

最终方案在验证数据集上的成效可达 0.97 mAP@0.5。

方案成效

将深度学习的方法引入工业辅助检测领域，不仅让美的工业视觉检测云平台可以快速、敏捷、自动地识别出待测产品可能存在的问题，例如螺钉漏装、铭牌漏贴、LOGO 丝印缺陷等。更重要的是，该云平台能够良好适应非标准变化因素，即便检测内容和环境发生变化，云平台也能很快适应，省去了冗长的新特征识别、验证时间。同时，这一方案也能有效地提高检测的鲁棒性，克服了传统视觉检测过于依赖图像质量的问题。

新方案在美的产线中实际部署后，达到了很好的应用效果。从已有 9 条产线的实际部署测试数据来看，该方案对现有产线的影响几乎为零。同时，由 Analytics Zoo 提供统一的数据分析 + AI 平台，大幅降低了方案进行分布式训练和推理以及提供低延迟在线服务所耗费的人力物力成本。相比传统的工业视觉方案，如图 2-1-8 所示，项目部署周期缩短了 57%，物料成本减少 30%，人工成本减少 70% 。

同时，经英特尔优化的 SSDLite + MobileNet V2 目标检测算法模型也有效提升了方案的执行效率和准确率。来自一线的数据表明，方案对诸多缺陷的识别率达到了 99.98%，推理预测时间从原先的 2 秒缩减到现在的 124 毫秒。

更多示例以及优化细节，请参阅 Github 相关代码： https://github.com/intel-analytics/analytics-zoo/blob/master/pyzoo/zoo/examples/tfnet/train_lenet.py

创作场景

美的如何利用英特尔“AI+ 大数据”平台实现工业智能化升级？