QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型

  • 2019-09-23
  • 本文字数:4186 字

    阅读完需:约 14 分钟

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型

您可能已经了解如何使用 AWS IoT Core 和 AWS IoT Greengrass 进行远程设备通信和控制。通过 AWS IoT Greengrass 机器学习 (ML) 推理,您可以在本地设备上运行机器学习模型,而且不会出现任何传输延迟。在这篇博文中,我将向您展示如何在 Raspberry Pi 上使用 AWS IoT Greengrass ML 推理来执行本地面部识别,以满足家庭监控需求。


通过使用 Amazon Echo Dot(连接到 Alexa Voice Service)作为 Raspberry Pi 摄像头的控制设备,您将能够对门外的人进行拍照,然后根据照片,使用部署到 Raspberry Pi 的预先训练好的 ML 模型执行面部检测并与本地数据集进行对比。虽然对比结果也可以用于门锁或其他智能设备,但这些使用案例不在本文讨论范围之内。

先决条件

在 Raspberry Pi 设备上安装 AWS IoT Greengrass Core 软件。创建 IoT Greengrass 组和核心。有关说明,请参阅《AWS IoT Greengrass 开发人员指南》中的 AWS IoT Greengrass 入门。在部署中会用到在此创建的组和核心。


在本文中,我将使用一个预先训练好的面部检测模型,使用 TensorFlow 对其进行训练,然后将其部署到装有 AWS IoT Greengrass 的 Raspberry Pi 中。您可以使用与此相同的模型,也可以使用 Amazon SageMaker 训练自己的模型。有关如何使用 Amazon SageMaker 准备模型的信息,请参阅《Amazon SageMaker 开发人员指南》中的“入门”部分。


安装以下依赖项。


  • OpenCV 3.3

  • TensorFlow

  • Numpy

  • Scipy

  • Scikit-learn

  • Dlib

  • 所有图像处理库

  • 使用以下命令安装图像处理依赖项。


sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-devsudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev pkg-config graphicsmagick
复制代码


使用以下命令安装 OpenCV 3.3。


git clone https://github.com/Itseez/opencv.gitgit clone https://github.com/Itseez/opencv_contrib.gitcd opencvgit checkout 3.1.0cd ../opencv_contrib/git checkout 3.1.0cd ..cd opencvmkdir releasecd releasecmake -D CMAKE_BUILD_TYPE=RELEASE \-D CMAKE_INSTALL_PREFIX=/usr/local \-D INSTALL_PYTHON_EXAMPLES=ON \-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \-D BUILD_EXAMPLES=ON ..make -j4sudo make installsudo ldconfig
复制代码


本文使用的 ML 模型是 TensorFlow。使用以下命令将 TensorFlow 安装在您的 Raspberry Pi 上。


# Install Wheelwget https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v1.0.1/tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whlsudo pip install tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whlsudo pip install mock#Install Pip3sudo apt install libatlas-base-devpip install tensorflow使用以下命令安装 Numpy、Scipy 和 Scikit-learn。
pip install numpy scipy scikit-learn使用以下命令安装 Dlib。
#Modify your swapfilesudo nano /etc/dphys-swapfile
change CONF_SWAPSIZE = 100 to CONF_SWAPSIZE=1024change virtual memory from 100M to 1G
sudo /etc/init.d/dphys-swapfile restart
sudo raspi-config#Change you boot Options1)Boot Options => Desktop / CLI => Console Autologin2)Advanced Options => Memory Split => change GPU to 16
#Doanload your Dlibdownload Dlib to your device : http://dlib.net/sudo python setup.py install
复制代码

ML 模型和 AWS Lambda 函数

您将在 GitHub 上找到两个 ML 模型。


  • 面部检测模型

  • |—-haarcascade_frontalface_default.xml

  • 面部识别模型

  • |—–train_faces.model-500.data-00000-of-00001

  • |—–train_faces.model-500.index

  • |—–train_faces.model-500.meta

  • |—–checkpoint

  • 您还将找到描述本文所用的 Lambda 函数的注释。

AWS IoT Greengrass 上的 FaceDetection Lambda 函数

#open cameracam = cv2.VideoCapture(0)while True:# capture an image from video stream_, img = cam.read()# convert RBG image to grayscale imagegray_image = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# detect facedets = detector(gray_image, 1)if not len(dets):# detect face failedkey = cv2.waitKey(30) & 0xffif key == 27:sys.exit(0)# start recognitionfor i, d in enumerate(dets):x1 = d.top() if d.top() > 0 else 0y1 = d.bottom() if d.bottom() > 0 else 0x2 = d.left() if d.left() > 0 else 0y2 = d.right() if d.right() > 0 else 0face = img[x1:y1, x2:y2]
face = cv2.resize(face, (size, size))# compare image with dataset and compose JSON format messagerecord_data = {}record_data['result'] = is_my_face(face)prepared_record_data = json.dumps(record_data)# send MQTT message to “record/webcam” topicclient.publish(topic = 'record/webcam', payload = prepared_record_data)break;Alexa 触发器 Lambda 函数def get_welcome_response():# public a message to IoT coreclient.publish(topic='listening/record',payload="Hi",qos=1)# return message of this Alexa Skillsession_attributes = {}card_title = "Welcome"speech_output = "Sure.I will check the camera now."# If the user either does not reply to the welcome message or says something# that is not understood, they will be prompted again with this text.reprompt_text = "Sure.I will check the camera now."should_end_session = Truereturn build_response(session_attributes, build_speechlet_response(card_title, speech_output, reprompt_text, should_end_session))
复制代码

开始使用

本文描述的示例架构如下所示。用于创建 AWS Lambda 函数以进行识别的面部识别模型和数据集已上传到 Amazon S3 存储桶中。AWS IoT Greengrass 会将所需文件同步到 Raspberry Pi。Echo Dot 作为触发器运行。在听到“Alexa, open Monitor”等命令时,Echo Dot 将调用 Alexa Skil 以向 AWS IoT Core 发送一条消息。AWS IoT Core 会调用识别 Lambda 函数,该函数部署在 Raspberry Pi 本地存储上,如果 Lambda 函数识别出客人的身份,门就会打开。



下面我们来准备将在 Raspberry Pi 上部署的资源。


首先,创建一个 AWS Lambda 函数,该函数将捕获 Raspberry Pi 摄像头的帧,将这些帧转换为 JPG 文件,然后调用本地 ML 模型进行分析。AWS Lambda 函数会将 JSON 格式的分析结果发送到 AWS IoT Core。


在 AWS Lambda 控制台中,选择创建函数,然后选择从头开始创建。为您的 AWS Lambda 函数指定一个类似于 greengrassFaceRecognization 的名称。对于运行时,选择 Python 2.7。由于此 Lambda 函数将部署在边缘设备上,因此您可以选择任何角色,而不会影响其在 Raspberry Pi 上的功能。



在函数代码区域中,选择上传 ZIP 文件的选项,然后从 GitHub 上传为此 Lambda 函数提供的 ZIP 包。从操作中,发布新版本。AWS IoT Greengrass 不支持 $LATEST 作为 Lambda 别名的版本,因此请确保为 Lambda 函数分配一个版本号(例如,版本 1)。



在 Lambda 函数运行时,它会调用用于面部识别的本地 ML 模型。使用以下值配置 Lambda 函数:


属性 配置


内存限制 96


超时 8


Lambda 生命周期 让此函数长时间生存,并保持无限期运行


对 /sys 目录的读取访问权限 启用


输入负载数据类型 JSON


Lambda 函数需要在 Raspberry Pi 上调用一些本地设备。将这些设备添加到您的 AWS IoT Greengrass 资源。


在 AWS IoT Core 控制台中,选择 AWS IoT Greengrass。选择组,然后选择您的 Greengrass 组(例如,greengrassFaceReco)。在左侧的导航窗格中,选择资源。在本地选项卡上,选择添加本地资源。



由于本文中的示例使用 Raspberry Pi 摄像头,因此要在 Greengrass 组中添加两台设备:


  • videoCoreSharedMemory

  • videoCoreInterface

  • 按如下方式填写字段:


完成后,您的设备配置应如下所示:



将 ML 模型添加到此 Greengrass 组。在左侧导航窗格中,依次选择资源、机器学习和添加机器学习资源。



在本例中,模型存储在 S3 存储桶中。如果您使用 Amazon SageMaker 训练模型,请选择 Amazon SageMaker 作为您的模型源。本地路径是边缘设备上用来存储模型的目录。请谨慎配置此路径。否则,您的模型将无法在边缘设备上使用。您会看到您的模型已添加到 Greengrass 组中:



现在创建一个订阅,以便可将本地分析结果发送到 AWS IoT 云进行处理。例如,将结果存储在 Amazon DynamoDB 中以及在 Amazon EMR 中执行结果分析。如果您有另一台本地设备连接到 Raspberry Pi,则可以使用 AWS IoT Greengrass Core 根据分析结果通过 AWS Lambda 对其进行控制。在本例中,通过 MQTT 消息将结果发送到 AWS IoT 云。



现在,您可以部署 Greengrass 组。从操作中选择部署。部署时间因模型大小而异。部署完成后,结果将显示在控制台中,如下所示。



您的 Raspberry Pi 现在应该能够识别 Pi 摄像头捕捉到的面部照片。使用 Echo Dot 对 Pi 摄像头进行语音控制以获取图像。


创建另一个 Lambda 函数,以通过 MQTT 消息触发 AWS IoT Greengrass 本地面部检测 Lambda 函数。触发器 Lambda 函数将通过 AWS IoT Core 向 Greengrass Core 发送一条 MQTT 消息。AWS IoT Greengrass 将通过本地面部检测 Lambda 函数处理此消息,然后触发照片分析。您可以在 GitHub 上找到这一基于 Python 2.7 的 Lambda 代码。记下此 Lambda 函数的 ARN。配置 Alexa 技能时会用到。


打开 Amazon 开发人员门户。依次选择 Alexa、Your Alexa Consoles、Skills 和 Create Skill。有关创建自己的 Alexa 技能的信息,请参阅使用 Alexa Skills Kit 构建技能。


最后,通过使用 Echo Dot 向 Raspberry Pi 发送语音控制消息,启动本地面部识别过程,构建智能家庭监控系统。结果将通过 MQTT 消息发送回 AWS IoT 云。

小结

通过使用本文中的示例,您可以在装有 AWS IoT Greengrass 的 Raspberry Pi 设备上构建小型家庭监控系统。然后,您可以通过训练其他 ML 模型并将其部署到您的 AWS IoT Greengrass 设备来进一步探索。


本文转载自博客 AWS。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-install-a-face-recognition-model-at-the-edge-with-aws-iot-greengrass/


2019-09-23 13:006042
用户头像

发布了 1856 篇内容, 共 129.4 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

一年数十万次实验背后的架构与数据科学

百度Geek说

人工智能 架构 数据科学

企业为什么要建设自有即时通讯软件系统

BeeWorks

阅读

新来的前端小姐姐问:Vue路由history模式刷新页面出现404问题

华为云开发者联盟

node.js Vue hash 404 history 模式

西部首个国家级车联网先导区获批,EMQ 联手中国移动打造 5G 交通生态链

EMQ映云科技

自动驾驶 车联网 5G 移动 emq

干货 | TDSQL-A核心架构揭秘

腾讯云数据库

数据库 tdsql

TDSQL 全时态数据库系统-理念与愿景

腾讯云数据库

数据库 tdsql

用6年前的低性能电脑运行「360安全卫士极速版」,效果怎么样?

Regan Yue

安全 测评 病毒云查杀 9月日更

「免费开源」基于Vue和Quasar的前端SPA项目crudapi后台管理系统实战之模块管理(十四)

crudapi

Vue API crud crudapi qusar

AI时代来袭,你的存储做好准备了吗?

焱融科技

AI 高性能 文件存储 云计算, 分布式,

TDSQL-A,全力应对海量数据实时分析需求

腾讯云数据库

数据库 tdsql

TDSQL的2020进化在未来之前,更在未来之后

腾讯云数据库

数据库 tdsql

逮虾户!清华架构师吐血整理出这份多线程并发指南,带你弯道超车

Java~~~

Java MySQL 架构 面试 JVM

铁山靠!阿里P9架构师写的这份JDK源码笔记,竟直接带火了GitHub

Java~~~

Java 源码 架构 jdk 面试

如何借助腾讯云简单、高效移动开发

腾讯云数据库

数据库 tdsql

腾讯私有云MySQL解决方案—TDSQL

腾讯云数据库

数据库 tdsql

ThreadLocal在链路性能测试中实践

FunTester

多线程 ThreadLocal 性能测试 线程安全 FunTester

HTAP大潮下,TDSQL的探索与实践

腾讯云数据库

数据库 tdsql

GitHub上这份阿里的Java高并发核心手册,即使再过20年依然“NB”

Java~~~

Java redis 架构 面试 高并发

web技术分享| webRTC 媒体流录制

anyRTC开发者

音视频 WebRTC 流媒体 web技术 流媒体录制

Code Review在TDSQL-C 的应用实践

腾讯云数据库

数据库 tdsql

细节炸裂!阿里P8高管总结出这份1500页的Java编程思想(第六版)

Java~~~

Java 编程 架构 面试 JVM

【VueRouter 源码学习】第七篇 - 路由变化触发视图更新

Brave

源码 vue-router 9月日更

终于有人把操作系统,CPU,基础知识,网络一次讲清楚了,绝绝子

Java~~~

Java 架构 面试 操作系统 TCP/IP

TDSQL“相似查询工具MSQL+”入选VLDB论文

腾讯云数据库

数据库 tdsql

紧锣密鼓完成小闭环,微型博客项目快快进入下一阶段

梦想橡皮擦

9月日更

字节再次出圈!GitHub上爆火一星期的算法刷题手册竟出自这人之手

Java~~~

Java 架构 面试 算法 刷题

牛逼!从阿里大牛手里买到了1个G牛逼的Java面试题库,史上最强

Java~~~

Java 架构 面试 JVM 架构师

TDSQL Inside:从腾讯的分布式数据库能力到行业的能力

腾讯云数据库

数据库 tdsql

资深Linux系统管理员常用的15个很好用的Cron工作示例

华为云开发者联盟

Linux Linux Cron 工作示例 应用程序 工作调度

初识FL Studio中的FLEX插件

懒得勤快

Alibaba内网“疯狂”传阅的P8开源出的SpringBoot入门到进阶小册

Java~~~

Java 架构 面试 微服务 Spring Boot

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型_文化 & 方法_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章