京东云黑科技矩阵大曝光，“云 +AI”能否超出你的想象？

当前，大数据、物联网、人工智能、云计算等智能技术手段已经逐步成熟，并迎来“核聚变”发展态势，万物互联、万物互通的时代悄然而至，创新驱动发展，“智能 +”成了新引擎。

2019 年 8 月 17 日，“云中生智，探索基于机器学习的 AI 业务优化实践”京东云开发者社区技术沙龙在南京举办，来自京东及英特尔的六位技术专家为参会者带来了一场知识盛宴

本期技术沙龙聚焦“机器学习”与“计算机视觉”，揭秘京东 AI 在智慧零售、智慧物流、智慧金融等领域的生态布局与解决方案，讲解京东拍照购、以图搜图、智能鉴黄等技术的实现原理， Intel 如何有效将 AI 部署到边缘端。同时，展示基于容器技术的开发测试流水线的最佳实践。

探索产创云 AI 开发服务平台，解读基于 DevOps 的开发测试最佳实践

今年，京东云将智能产业创新聚焦南京，将京东云智能产业华东区域总部落户在南京，并在南京正式发布“产业创新云”。“产业创新云”（以下简称“产创云”）是基于京东自有的人工智能、物联网、云计算等技术能力，围绕容器、开发测试流水线、微服务等云原生技术构建的一站式支撑平台。

来自京东云的高级架构师陈勇及京东云高级架构师马廷卫，现场介绍了产创云平台的价值及支持政策，并为开发者解读产创云容器集群及资源管理，解读基于容器的 DevOps 的开发测试流水线最佳实践。

产创云从全云化的技术架构上提供了 IaaS 资源、PaaS 平台以及 SaaS 应用，并将京东的区块链、AI、IoT 相关的技术整合在此，开发者可以基于相关的技术，通过 SDK 在平台上开发自己的产品。除此之外，产创云围绕产业链的研、采、供、销、服五个阶段，围绕产品创新、产业孵化、产业加速、规模销售，还有持续运营、可循环的几个阶段，助力创新企业发展，打造智能产业集群。

在产创云的平台架构设计上，京东云设计了三个中心，包括数据的接入、技术的接入，中间围绕软件的生命周期，从软件前期的需求、设计再到测试，再到部署。

为了帮助企业节约开发、测试、部署的时间，完成持续集成和部署，京东云设计了基于容器的 CI/CD 的开发测试流水线，借助 Kubernetes 集群服务，创建以容器为单位的开发测试部署流程，简化了环境搭建的步骤，提高了资源利用效率和开发测试部署的速度，降低了迁移的成本。

打造智能商业体，解读京东 AI 全景图

大数据、区块链、人工智能、信息安全以及云计算被认为是数字经济时代的五项核心技术。五大技术相互融合，共同推动数字新经济的高速度高质量发展。在此趋势下，京东作为以技术驱动、数据智能为核心的科技企业，坚定地朝着技术转型，致力于打造一个包括智能零售、智能金融、智能保险、智能城市、智能医疗等在内的全球领先的智能商业体。

京东云资深云计算布道师宗婷婷，在现场为开发者解读了京东 AI 在各个产业的生态布局、京东 AI 各类落地场景和解决方案，并提供京东云对 AI 开发者的支持方案。

宗婷婷认为，在五项核心技术中，云计算在数字经济时代里面承担了整个产业的操作系统的角色，它是承载一切资源、能力、基础和连接的大的业务平台。而京东超级电商成就了超级云，超级云反过来又辅助超级电商。

在此基础上，依托于京东集团范零售丰富的场景、洞察能力和技术沉淀，京东将具有产业属性的 AI 能力全盘输出，赋能伙伴，成就客户。

智能零售

智能零售分为两大部分：线上零售和线下零售。线上零售围绕京东商城，包括以图搜图、拍照购、AI 审核、智能客服等方案。其中，智能客服作为京东非常成功的线上场景，提供一整套的解决方案，包括客服人工的智能处理，后台的各种客服大脑、大数据分析等一系列的服务。

比如有一个客户想要发起一次客服活动，首先要进行前台的预判，通过描述事情的严重程度和类型，结合客户本身的资料，以及购物的数据，智能客服会进行预判，决定把你分到人工客服还是 AI 辅助，还是完全 AI 客户。

智能供应链是零售企业的核心，决定了企业的竞争能力。传统模式下，采销人员要依靠数据和自身的经验完成商品选择、采购计划制定、价格制定、库存管理等复杂工作。随着电商规模的迅速扩大，如果不能进行精准高效的供应链管理，不仅会降低零售企业的竞争力，更会造成包括上游制造企业在内的行业效率降低。京东从消费者洞察作为原点，借助大数据和人工智能技术的应用，融合过去 14 年的零售经验积累，与各方合作伙伴一起，打造敏捷、智慧、开放的智能零售供应链。

智能物流

京东的智物能流是一个完整的体系，无人仓解决进货、拣货、包装等环节，无人车主攻城市环境下的最后一公里配送，无人机则锁定乡村配送。

无人仓作为全新一代智能物流技术，其核心特色体现为数据感知、机器人融入和算法指导生产，可以全面改变目前仓储的运行模式，极大提升效率并降低人力消耗。从商品入库、存储拣货、包装、分拣、装车的环节都无需人力参与，搬运机器人成了无人仓的主角。京东于 2017 年在上海打造中小型无人仓，单仓的产能超过 20 万单。2018 年进入无人仓设备的常态化和规模化应用的一年，大量的智慧化设备在物流的仓库开始应用。

除此之外，京东拥有多场景无人智能产品，如末端配送机器人、巡检机器人、干支线自动驾驶货车、服务机器人等。作为智慧物流体系的重要一环，末端的京东配送机器人自 2017 年在人大、清华、浙大、长安几所高校就开始进行配送实验，未来还会在全国各地的封闭式园区、校园，类似于生态城这种开放式的城市道路配送，并迈向普通社会化道路，解决城市配送最后一公里难题。

智能金融

京东智能金融服务将传统的风控体系智能化，依托京东庞大的用户和交易量数据以及关联外部合作伙伴洞察资源，在注册、登录、营销、交易等多个核心场景建立标签和策略，其全魔方产品，能够实现对申请欺诈、信用欺诈、账户盗用、洗钱、羊毛党、虚假交易及黑产等行为的防范。

智能保险

在保险方面，京东安联已经尝试利用大数据及人工智能，来改变传统核保理赔的方式。另外，京东安联将逐步使用 AI 机器人替代传统客服，一个机器人的成本相当于人工成本的 10 分之一，AI 技术部署算法越多，它的学习能力越强，成本也就越低。

同时京东安联也正在尝试通过一系列的技术手段，优化保险交易的各个环节，使产品更简单易懂，流程变得更为顺畅。

看得见的 AI，计算机视觉的原理及最佳实践

作为人工智能最火热的细分领域之一，无论是智慧零售还是智慧物流，都离不开计算机视觉技术的应用。来自京东人工智能业务部研究员于伟，在现场以京东智慧零售场景为基础，向开发者解读人工智能在视觉领域的技术原理，并介绍了京东拍照购、以图搜图、商品识别、智能鉴黄等计算机视觉技术的最佳实践。

如下图所示，京东现有计算机视觉技术的概览可以分成五部分，由上至下分别为，文字识别、人体、人脸、视频和图像。

在智慧零售中，依靠领先的视觉算法、海量的有效数据、稳定的服务架构，京东计算机视觉技术在多模态购物、内容审核、创新应用、 Neuhub 开放平台四个场景中得到了成功的运用案例。

拍照购

首先是多模态购物——拍照购，拍照购的应用场景分为京东云 APP 及拍照购小程序，作为帮助导购的索引以 SDK 的形式快速集成到其他的应用当中。

其中，拍照购主要面临商品形变、商品拍摄角度不同、商品包装不同、商品状态不同、商品类别不同等技术挑。计算机视觉技术的目的就是要消除目标商品与拍摄商品的不一致性，将不同场景下的相应商品对应起来。拍照购的框架分为线上及线下两部分，涉及商品主体完整度判别、商品清晰度判别以及优质透底图的判别等步骤。

除此之外，拍照购可自动定位图像的商品主体，给出商品主体框坐标、检测置信度、类别等信息，覆盖裙装、上衣、下衣、鞋子、数码、食品、美妆、图书、药品、绿植等 24 个品类，并支持多商品主体检测，可输出多个商品主体，区分不同商品主体的显著性。

内容审核

内容审核的出发点主要是为了规避公安系统的风险事件的发生，提高图片质量，提高用户体验，以及降低人工成本。

智能鉴黄，可以自动识别黄图、性感、低俗和正常图片，是图片内容合规审核的重要组成部分，减少人工成本，提高审核效率，具体流程如下图所示。

依托电商场景海量丰富的数据，京东的智能鉴黄准确率高达 99%，可根据业务自身进行配置，自定义阈值，灵活度高，可支持对电商，社交，视频等多场景进行安全审核。

与上述方法类似，京东的内容审核场景还包括特定人物识别、刀具枪支审核、牛皮鲜识别以及不适图识别等场景。

将人工智能部署到边缘设备， 英特尔® Movidius™ VPU 全解读

计算机视觉和深度学习正在成为我们日常生活中的数十亿设备的标配。让设备具备类似于人类的视觉与智能，是计算领域的下一波重大进步。英特尔® Movidius™ VPU 可以有效的将人工智能技术部署到物联网设备边缘端。

来自英特尔物联网事业部 VPU 平台应用工程师张星，为开发者介绍了 Myriad X 和第二代神经计算棒，解读了英特尔® Movidius™ VPU 特性、能力以及应用场景，并分享英特尔边缘计算产品的最佳实践案例。

Myriad X 是英特尔 Movidius 最新一代的 VPU ，它是一款低功耗的 SoC ，可以用在高能效图象处理、计算机视觉和深度学习的设备里面，包括服务机器人、监控摄像头、可穿戴设备、无人机、AR-VR 头盔和智能家居设备等。相比上一代产品 Myriad 2，Myriad X 多了一个神经计算引擎 （Neural Compute Engine） ，这是一个集成在芯片上的 DNN 加速器。有了这个加速器，深度学习推断吞吐量可以达到 1 TOPS ，也就是每秒超过 1 万亿次运算，理论峰值可以达到 4 TOPS 。英特尔 Movidius VPU 的微小尺寸和优越的每瓦特计算性能极大的满足了广大用户对计算机视觉和深度学习在终端设备上的需求。

当下，大部分开发者已经有了经过训练的网络模型，但是由于推理平台能力有限，只能把网络模型的一部分放到推理平台之上，又或者想要提升终端性能但不知道该如何选型，以及目前使用的人工智能框架不被英特尔的产品支持，无法导入到 Movidius 或者 FPGA 平台。

而 OpenVINO 正是为解决如上问题所推出的，它是一个高性能计算机视觉和深度学习视觉应用开发的工具套件，能够支持英特尔平台的各种加速器，包括 CPU 、 GPU 、 FPGA 以及 Movidius 的 VPU 等，支持异构计算，并可帮助开发者把已经训练好的网络模型部署到目标平台之上进行推理操作。

随后，张星向开发者介绍了英特尔第二代神经计算棒——NCS2。英特尔 NCS2 基于英特尔 Movidius Myriad X 视觉处理单元 ( VPU )，并得到英特尔 OpenVINO 工具包的支持，与上一代神经计算棒相比性能更优，能够以可负担的成本加快深度神经网络推理应用的开发。同时，英特尔 NCS2 支持深度神经网络测试、调整和原型制作，可以帮助开发者进入实际应用的量产阶段。近年来，京东不断运用深度学习、度量学习等 AI 领域知识优化自身电商平台，让其从冷冰冰的系统不断成长为越来越懂用户的智能购物助手。

基于机器学习的智能营销人货匹配技术

来自京东人工智能业务部算法工程师陈东东，在现场展示了机器学习在人货匹配中的核心应用，包括用户需求预测、用户及商品网络相似度学习，用户商品匹配学习，并对度量学习基本方法及其在电商平台的应用进行介绍。

人货匹配模型

人货匹配模型是指在一个确定场景任务下，计算用户与商品的匹配程度 。经典的应用场景包括智能广告投放、智能客服调度、用户需求预测等。

假设需要预测一位用户是否会购买产品。方案一为利用客户的历史数据做 0/1 分类，但是该方案没有考虑到商品的特点；方案二在方案一的基础上将用户的历史行为数据结合商品的属性做一个分类，但是该方法在开始的时候就将用户和商品进行了特征的串联，由于用户和商品来自不同的空间，所以直接串联是不太合适的，于是京东 AI 将方案二进一步优化，在同一个公共子空间计算用户和商品的匹配程度。

如下图所示，假设分别对用户和商品通过两个深度神经网络投影到一个公共子空间下，而后训练数据通过一些简单的距离计算方式判别用户和商品之间的匹配程度。当模型训练过后，把距离通过一个 F 函数，F 函数将距离转化为 0 到 1 的概率，用这个值表示用户对商品的购买概率。再基于这个概率构造一个损失函数，这样训练完模型之后，就可以得到对购买概率的一个预测值。

与前两种方法相比，京东 AI 的方案可以使得 Embedding 有意义 ，可以加入商品相似度的信息，利用用户的加购、收藏等更多的标记信息，同时能对新品表示出更好的泛化能力。

那么相似的商品是如何学习的呢？

如下图所示，假设已经事先知道商品 X 和 Y 之间是比商品 X 和 Z 更相似，也就是 X 和 Y 之间的距离比 X 和 Z 更小。这种情况下，京东同时把三个商品通过共享权重的深度网络，得到三个向量，然后直接在得到的 Embedding 的空间去约束它们之间的距离关系。这就要求 X 和 Y 相似商品之间的距离至少比 X 和 Z 的距离小于 Margin β，基于这样的 Margin loss 去加入到约束里面，更好的学习网络 I。

可能有人会问了，如果我已经知道两个商品是相似的，为什么还要重复的再加一个网络去学习？这里有一个很重要的一点，如果来的是一个新的品类，你并不知道这个新的品类和哪些商品是相似的，如果你学习了这样的网络，把这个新品通过这个网络就可以很好的得到它的 Embedding ，就可以计算它和原来的相似性。

深度度量学习

度量学习也叫作相似度学习。度量学习旨在学习一个恰当的相似性（距离）度量，使相同类别样本之间的相似度增大（或距离减小），不同类别样本之间的相似度减小（或距离增大），从而实现提高分类器的判别能力、改善匹配及聚类性能等目的。而深度度量学习则是利用深度神经网络去学习距离度量的表示。

深度度量学习主要关注两个问题：损失函数如何设计以及怎样对样本进行采样。

首先看一下损失函数的问题。深度度量学习里面最基本的一类是 Contrastive-style loss ，如下图所示，用两个集合表示，一个是 S 一个是 D ，两个样本，一个 i 一个 j ，通过共享权重的 DNN 得到它们的表示函数，在转换之后的空间计算它们之间的距离。

虽然看起来是比较简单的 loss ，但是这里面产生了大量的变体。第一类变体主要集中于 DIJ 怎么去计算，最基本的是用欧式距离计算 DIJ ，还有曼哈顿距离、余弦距离，或者卡方距离计算 DIJ 。

Triplet-style loss 它的输入是针对三元组，在变换之后的空间里面要求两个相对更近的商品之间的距离，比两个没有那么近的距离小于一个 margin α ，基于这样的 loss 去求网络的参数。

在分享最后，陈东东向开发者介绍了当前度量学习的热点——如何更好地扩展度量空间。他认为，一种是生成虚拟样本，虽然没有见过测试集样本，但是可以基于已有的训练集生成更多的样本，可采用生成式的方法生成样本，也可以用几何的方法生成样本；另一种是集成学习的方法，可通过输入数据、输出标记、模型参数生成多样性，扩展度量空间。

此次活动吸引了 200 名开发者的到场参与，大家从云计算、人工智能、 IT 运维等专业领域，畅谈智能时代的热点和产业趋势，并高度评价此次活动。

当下，京东云作为京东集团各项技术能力的重要输出窗口，正以全新的视角为合作伙伴提供开放、赋能的平台，并开放 23 个 AI 接口，秉承合作共赢的态度，与开发者一起，携手迈向 AI 新未来，点击链接即可 0 元试用京东 AI 接口～