写点什么

使用 AWS Glue 和 Amazon Athena 实现无服务器的自主型机器学习

  • 2019-10-31
  • 本文字数:2220 字

    阅读完需:约 7 分钟

使用 AWS Glue 和 Amazon Athena 实现无服务器的自主型机器学习

您是否遇到过需要根据某些属性划分数据集的情况?K-means 是用于划分数据的最常见的机器学习算法之一。该算法能够将数据分成不同的组 (称为_集群_)。每个样本都被分配到一个集群,这样,相比分配到其他集群中的样本,分配到同一集群中的样本彼此之间更相似。


在这篇博客文章中,我将介绍使用 AWS Glue 提取位于 Amazon S3 上有关出租车行驶情况的数据集,并使用 K-means 根据行车坐标将数据分成 100 个不同的集群。然后,我会使用 Amazon Athena 查询行驶次数和每个集群的大概区域。最后,我会使用 Amazon Athena 来计算行驶次数最多的四个区域的坐标。使用 AWS Glue 和 Amazon Athena 都可以执行这些任务,无需预置或管理服务器。

解决方案概述

我将使用在以前的博客文章中用过的纽约市出租车数据集:使用 AWS Glue、Amazon Athena 和 Amazon QuickSight 协调、查询和可视化各个提供商的数据。我将使用 2016 年 1 月份包含绿色出租车行驶数据的表。


我将向您展示 AWS Glue 作业脚本,该脚本使用 Spark 机器学习 K-means 集群库,基于坐标划分数据集。该脚本通过加载绿色出租车数据并添加指示每一行被分配到哪个集群的列来执行作业。该脚本采用 parquet 格式将表保存到 Amazon s3 存储桶 (目标文件)。可以使用 Amazon Athena 查询存储桶。


我们来考虑下面这个问题:将出租车行驶数据集平均分配到所有已注册接客地点之间的 100 个不同的组 (集群) 中 (接客地点由


pickup_longitude 和


pickup_latitude 列指定)。为了解决这个问题,AWS Glue 脚本要读取输入表,然后使用 Spark 机器学习库实现 K-means,并将集群数量设为 100。结果采用 parquet 格式存储在 Amazon S3 存储桶中,您可以使用 Amazon Athena 进行查询。

演示

执行 AWS Glue 作业

请遵循以下步骤:


  1. 在 AWS 管理控制台中,转到 AWS Glue 控制台。为 AWS Glue 爬网程序 (在数据目录中创建表定义) 创建要将表写入其中的新数据库。

  2. 创建一个指向以下路径的新爬网程序:

  3. Bash


   s3://serverless-analytics/glue-blog -- 设置为按需运行
复制代码


![](https://d2908q01vomqb2.awsstatic-china.com/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2017/12/04/serverless-unsupervised-ml-2-1.gif)
复制代码


  1. 运行该爬网程序。

  2. 确保爬网程序对包含以下属性的绿色表进行分类。

  3. 将脚本文件 MLkmeans.py 上传到其中一个 S3 存储桶中。

  4. 添加新的 AWS Glue 作业,为该作业选择一个名称和角色,从“您提供的现有脚本”中选择运行作业的选项,再选择已上传脚本的 S3 路径,然后为临时文件选择 S3 路径。选择两次 Next,然后选择 Finish。

  5. 编辑脚本。

  6. 选择作业,然后选择要编辑的选项:

  7. 编辑您要将结果存储到其中的 destination 变量 (下图中的第 17 行)。

  8. 使用以前运行的爬网程序所创建绿表的数据库和表名称编辑 namespacetablename (下图中的第 18 和 19 行)。

  9. 运行 AWS Glue 作业。

  10. 验证是否已在目标路径中创建 parquet 文件。

  11. 创建一个指向目标路径的新爬网程序。

  12. 在目标路径上运行爬网程序,以在 AWS Glue 数据目录中创建指向新转换数据集的新表。

如何使用 Athena 查询结果

在爬网程序完成对 AWS Glue 提取、转换和加载 (ETL) 作业创建的 parquet 数据集的分析后,数据目录中应生成一个具有以下列的表:



预测列由 k-means 算法添加,并包含一个表示分配给每行的集群 ID 的整数。


我们来看一个例子,在 Amazon Athena 中用下面的查询列出所有计算的集群:


SQL


SELECT  count(*) as count,      (max(pickup_latitude) - min(pickup_latitude))*(max(pickup_longitude) - min(pickup_longitude)) as approximate_cluster_area , prediction  FROM RESULTDATABASE.RESULTTABLENAME group by prediction  order by prediction
复制代码


当您将


RESULTDATABASE.RESULTTABLENAME 替换为您的结果表名称和数据库时,查询应类似于以下内容:



结果显示由 count (计数) 列描述的每个地理区域内的出租车接客次数,以及由


approximate_cluster_area 列描述的每个地区覆盖的面积。


我们来看另一个例子,列出活动最多的 10 个集群并计算其中心坐标:


SQL


SELECT count(*) AS count,         avg(pickup_latitude) AS latitute,         avg(pickup_longitude) AS longitude,         predictionFROM RESULTDATABASE.RESULTTABLENAMEGROUP BY  predictionORDER BY  count DESC limit 10
复制代码


当您将 RESULTDATABASE.RESULTTABLENAME 替换为您的结果表名称和数据库时,查询应类似于以下内容:



结果将显示行驶次数最多的 10 个集群。如果我们使用 Amazon Quicksight 地理空间可视化功能在地图上绘制这些坐标,会得到一个类似于下图的图像:


总结

在这篇博客文章中,您学到了如何利用 AWS Glue 和 Amazon Athena 来使用自主型机器学习算法,而无需启动或管理服务器。在示例中,我们基于行车坐标将一个出租车行驶数据集分成 100 个不同的组。使用每个组的区域和行驶次数等查询数据,可以计算出坐标。


本博客中介绍的解决方案还可以用于其他数据集,只需稍加修改。您可以使用这些解决方案解决您自己的使用案例需求。我期待收到您的反馈意见和建议。



补充阅读

了解如何通过 AWS 构建基于 PMML 的应用程序并生成预测





作者介绍


**



Luis Caro 是 AWS 专业服务的大数据顾问。**他与我们的客户合作,为大数据项目提供指导和技术支持,帮助他们提高使用 AWS 实现的解决方案价值。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/serverless-unsupervised-machine-learning-with-aws-glue-and-amazon-athena/


2019-10-31 08:00806

评论

发布
暂无评论
发现更多内容

从功能测试进阶自动化测试,熬夜7天整理出这一份3000字超全学习指南【附网盘资源】

伤心的辣条

Python 程序员 软件测试 IT 自动化测试

35人首次上榜、行者皆勇者——创业邦3040新青年创投峰会圆满落幕

创业邦

UI自动化测试框架搭建-优化企业微信通知

伤心的辣条

Python 程序员 软件测试 自动化测试 UI自动化

博云《应用上容器指南》首发!详解应用容器化改造

BoCloud博云

容器 云原生 容器云 应用

国家先进计算产业创新(宜昌)中心正式落地 由中科曙光、升哲科技联合运营

SENSORO

人工智能 物联网 新基建 智慧城市

云上360行丨深耕快消品行业数字化转型,纷享销客与华为云合力同行

华为云开发者联盟

人工智能 modelarts 快消品 纷享销客

3 个技巧来破解你可以立即使用的 Flutter 生产力!

坚果

6月月更

养老金融政策频出,市场有多大?

易观分析

养老消费

俄航天局局长:外星生命或正在研究人类文明

Dylan

俄罗斯 外星人 航天局

Executor

急需上岸的小谢

6月月更

给你一个项目,你将如何开展性能测试工作?

伤心的辣条

Python 程序员 IT 自动化测试 接口测试

国际SaaS企业有哪些机遇和挑战

ToB行业头条

打造软件供应链安全平台,「安势信息」完成数千万元天使轮融资

安势信息

测试员该知道的软件测试流程,你都知道吗?

伤心的辣条

Python 程序员 软件测试 IT 自动化测试

直播回顾 | 传统应用进行容器化改造,如何既快又稳?

BoCloud博云

云原生 容器云 应用

新一代政务云的“前移”与“致远”

云计算

Git 不要只会 pull 和 push,学学这 5 条提高效率的命令

CRMEB

InnoDB体系架构

龙空白白

MySQL InnoDB

转行软件测试跳槽到新公司,工作如何快速上手?

伤心的辣条

Python 程序员 软件测试 自动化测试 接口测试

GPU渲染全解读:GPU渲染器的发展与对比

Finovy Cloud

渲染器 GPU服务器

CVPR2022 |小红书首创多图交互建模挑战热门研究课题,大幅提升行人重识别性能

小红书技术REDtech

Transformer CVPR2022 行人重识别

如何高效的进行接口测试?【工具篇】

Liam

测试 Postman 接口测试 API接口管理 接口测试工具

LeaRun.Java表单快速开发工具

力软低代码开发平台

前端工程化:保姆级教学 Jenkins 部署前端项目

伤心的辣条

Python 程序员 jenkins 自动化测试 接口测试

三星堆重大发现!信息量巨大

Dylan

三星堆 四川省 文物

元气部落仿站开发,元气部落盲盒系统APP开发

WDL22119

盲盒小程序开发 盲盒源码 盲盒H5开发 盲盒APP系统开发 元气部落仿站开发

Vue-8-计算属性和侦听属性

Python研究所

6月月更

OSPO如何帮助保护你的软件供应链

安势信息

开源 DevOps 开源社区 SCA opensource

想学好软件测试,这些软件必不可少

伤心的辣条

Python 程序员 程序人生 软件测试 自动化测试

2022中国信通院安全运营发展论坛成功召开

中国IDC圈

安全

安势信息加入OpenSSF (开源安全基金会), 共建软件供应链安全

安势信息

Linux DevOps SCA工具 opensource

使用 AWS Glue 和 Amazon Athena 实现无服务器的自主型机器学习_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章