“洞察千里”，华为云 HiLens 如何让无人车智行天下

随着人工智能的普及和渗透，“无人”的场景越来越丰富，无人超市、无人车、无人机等已经融入我们的生活。

基于华为在自动驾驶领域的实践，华为云联合上海交通大学学生创新中心举办了华为云人工智能大赛——无人车挑战杯。而此次大赛用的正是华为云人工智能平台：华为云一站式 AI 开发平台 ModelArts 和视觉 AI 应用开发平台 Huawei HiLens（以下简称 HiLens），无人车的设计由上海交通大学提供，旨为全面锻炼和提高赛队的 AI 解决方案能力及无人驾驶编程技巧。

然而，无人车是怎么搭载华为云 HiLens 实现智能行驶的呢？下面就来解密这背后的黑科技。

ModelArts 与 HiLens 是什么关系？

ModelArts 是云侧面向 AI 开发者的一站式开发平台，提供数据预处理、半自动化标注、大规模分布式训练、自动化模型生成等能力。而 HiLens 是一站式 AI 应用开发、分发、部署的端云协同管理平台，并提供开放的 AI 技能市场，支持海量设备管理、动态应用部署、在线训练、端侧模型优化等端云协同能力。

既然是端云协同，少不了端侧设备，随着 HiLens 平台发布的同时，华为还发布了一款具备 AI 推理能力的摄像机——HiLens Kit，构建“云-端-芯”的人工智能生态。

参赛者在 ModelArts 平台训练好模型，再将模型导入 HiLens 平台进行技能开发，然后一键式部署到 HiLens Kit 推理，实现“云-边-端”一体化流程，大大提高开发效率。

对于开发者来说，模型部署到端侧设备，需要考虑的不仅是芯片（CPU/GPU）、内存、网络带宽和稳定性等各种设备规格在内的开发问题，海量设备管理和维护的问题，还有业务和安全的问题。而 HiLens 平台和设备的出现，提供了一套完整可靠的全栈端云协同解决方案。在无人车中，HiLens Kit 主要提供 AI 分析和 ROS 控制的能力，实现小车基于深度学习算法模拟实际场景的识别和控制。

HiLens 与无人车的设计图

华为云人工智能大赛——无人车挑战杯选手用车

无人车搭载华为云 HiLens 带来哪些优势？

端云协同

开发者可基于华为 ModelArts AI 开发平台训练算法模型，通过 HiLens 平台做技能开发并部署到 HiLens Kit 推理。

在本次大赛中，参赛者运用华为云 ModelArts 平台训练好各类算法模型，然后把模型导入 HiLens 平台进行业务逻辑编写，完成技能开发，并将技能一键式部署到 HiLens Kit，快速实现红绿灯识别、行人避障、线路识别、目标跟随等自动驾驶功能。

对于参赛者来说，只需简单四步：创建模型、导入模型、创建技能、部署技能，最快 10 分钟即可定制符合交通场景需求的技能，并部署到任意已注册的端侧设备运行，后期还能通过 HiLens 技能管理平台一键实现端侧设备的技能升级和卸载。这样实现了从云到端的一体化，降低了参赛者训练时间和算法移植成本，提高了效率。

端侧设备 HiLens Kit

这是为 HiLens 平台打造的一款支持推理的智能摄像头，专用于开发者做端云协同的视觉应用开发。

• 超强的算力，内置华为自研 Ascend 310 AI 芯片（16TOPS INT8 算力），可以实现 1 秒百帧的处理能力，毫秒级人脸检测；超强处理能力可同时支持高达 16 路 1080P 视频分析；同时，内置轻量级容器，具备资源占用少、降低网络带宽、下载启动时间快等特性。让参赛者任性的开发更多复杂交通场景的算法而不用担心内存和算力的限制。

• 丰富的接口，包括 USB 接口、视频接口、音频接口、网口、WIFI、SD 卡等提供了开发的便利，实现多模态交互。

• 可靠的管理，HiLens 提供的端云连接持续可靠的通信组件，使端侧设备对于与云侧仅有间歇性连接或者无连接的场景，也具备制定决策的能力，在未连接网络的情况下也能保持设备状态。

内置技能开发框架 Skill Framework

为了简化技能开发流程，HiLens 提供了自研端侧技能开发框架 Skill Framework，通过封装底层接口、实现常用的管理功能，让参赛者可以在 Huawei HiLens 管理控制台上方便的开发 Skill，培育 AI 生态。具体如下：

• 提供易用的开发组件，Skill Framework 封装了视频分析算法的基础组件，如底层多媒体处理库（摄像头/麦克风驱动模块 Media_mini）、Ascend 310 芯片相关的图像处理库（DVPP）和模型管理库（ModelManager）等，提供了技能推理平台、视频管理、外部接口管理等能力，开发者只需少量代码即可开发自己的技能。

• 结合芯片性能优化，针对 AI 算法中比较耗时的计算单元，结合海思芯片架构进行优化，内置 NPU 专用硬件加速单元，与 CPU 处理 AI 运算相比，拥有约 50 倍能效和 25 倍性能优势，使计算性能得到极大提升。

• 技能移植，在 HiLens 平台上开发的 Skill 可以运行到任何基于华为海思芯片的设备上。因底层封装了系统平台适配层，且基于 HiAI Engine 自适配底层芯片，可无缝对接端侧设备，让开发者无需操心底层硬件的适配和系统平台的兼容问题，使开发更容易上手。

• 提供 Python 和 C++接口，同时支持两种语言接口，参赛者可根据场景和开发习惯使用不同语言的接口。

在线更新技能

训练并开发后的技能可远程下载发布，使比赛更具有实时性。HiLens 管理平台提供技能管理功能，包括技能部署、停止和卸载，开发者优化后的技能，可在平台一键式部署更新，高效而快速，避免了传统的算法更新依赖固件更新周期长成本高的限制。

自动模型转换

云侧开发框架丰富多样， 开发者可根据喜好选择 TensorFlow、MXNet、Caffe 等，然后将训练好的模型导入 HiLens 平台通过模型转换功能，能够自动转换成适配端侧昇腾 310 芯片的 OM 框架模型，而参赛者只需提供三个文件：原始模型文件、网络结构文件和转换文件.cfg（cfg 需参赛者简单配置参数生成），这样参赛者不用有云侧框架与端侧设备不兼容的顾虑，从而降低学习成本。

自动数据采集

参赛者可利用 HiLens Kit 实现自动数据采集并上传到云端进行训练。为了更好的优化模型，少不了成千上万的真实数据，而开发者可通过 HiLens Kit 快速而实时地采集实际场景的数据，例如红绿灯识别照片和视频、路线照片等，传回云侧利用 ModelArts 针对性训练，提高模型精度，同时极大降低数据采集时间，实现设备的在线自动学习与更新。

另外，Huawei HiLens 也提供具有丰富技能的技能市场，可以让开发者将自己开发好的技能一键发布到技能市场供其他人使用、购买。同时，华为也将在技能市场发布多项技能，针对家庭、园区、车载等不同场景，覆盖物体检测、动作识别、语音识别等多种应用，供开发者和企业使用。为的就是打造一个全民用 AI 会 AI 的生态。

基于 HiLens 独有的优势和能力，无人车挑战杯的参赛者可以结合“云-端-芯”的场景挖掘和探索更多复杂的场景，智行天下，为我们的生活带来更多的便利。

未来，是智能的世界，人们对人工智能在不同行业和领域的探索也会越来越深入、越来越紧密，而 Huawei HiLens 给视觉 AI 领域提供了最可靠的端云协同能力和最高效的 AI 应用开发平台。

本文转载自 华为云产品与解决方案 公众号。

原文链接：https://mp.weixin.qq.com/s/v94g6OU7zvRQA3DH1QsQaw