写点什么

AWS re:Invent 2019 深度观察(底层篇):两个趋势,新的革命?

  • 2019-12-05
  • 本文字数:2306 字

    阅读完需:约 8 分钟

AWS re:Invent 2019深度观察(底层篇):两个趋势,新的革命?

根据 InfoQ 编辑在本次 AWS re:Invent大会上的观察发现,到 2019 年,AWS 的底层能力呈现出两个明显的发展趋势:

第一个趋势:超算 as a Service

AWS 正在将自己计算密集+网络密集的能力打造的越来越强,以应对越来越多的高性能计算与机器学习类应用负载的需求。这个方向目前由搭载了最新款 nitro 系统的几款 EC2 实例引领,包括但不限于 C5n、P3dn、Inf1 等系列,还有已经成为标配的万兆网卡。


特别值得注意的是 C5n 这个实例:



上图所示为美国海军研究实验室用超算 Cray XC40、c4 集群与 c5n 集群分别进行天气预报计算的性能比较:纵轴为计算用时,横轴为并行参与计算的 CPU 数量。可以看出,c4 集群(使用 TCP 协议)用到了 200 个以上 CPU 参与并行计算之后出现明显瓶颈,而 c5n 集群(开启了 EFA 网络功能绕过了 TCP 协议——这是最新款 nitro 系统提供的能力之一)即使超过 1000 核也没有呈现明显瓶颈,在计算用时方面的表现已经超越了 Cray XC40。


虽然仍不清楚是否所有现在在超算上跑的负载都已经能够在 AWS 上面以同等的表现跑起来,但是现在已经完全可以说:AWS 的超算 as a Service 已经进入了一个新阶段。


值得注意的是,Nitro 系统给 AWS、乃至整个云计算领域带来的影响是深远的。在会议期间的一次采访中,AWS 首席云计算企业战略顾问张侠特别提醒我们关注 Nitro 系统的重要性,小编觉得他的这句提醒很有道理。在小编看来,Nitro 不仅仅是 AWS 做的一套搭载了特定软件的主板,更加是对云计算操作系统下一步该怎么做的一系列探索,而目前我们所看到的已完成的部分,很可能仅仅是一个开始。不过,这个话题在这篇文章就先不展开了。


另外还值得注意的是 Inf1 这个实例:这是一款 GPU 计算实例。也就是说,它实际上是 G 系列/P 系列的平行版本!这个系列的名字来自 AWS 自研的 GPU 芯片的名字——Inferentia,专门设计用于机器学习推断(inference)负载的优化。


(Annapurna 这场收购可真值!——Andy Jassy 如是说。)

第二个趋势:计算资源往边缘下沉

计算资源往边缘下沉的意思是,把计算节点往越来越靠近终端用户的地方延伸。这个方向目前还在较早的探索期,本次宣布的近地节点服务 Local Zones(洛杉矶的 Local Zone 现在已经可用)、近 5G 运营商末端节点服务 Wavelength(计划在 2020 年之后可用)、以及发布刚刚一年、今年刚刚进入 GA 阶段的私有云节点服务 Outposts,代表了 AWS 在这个方向做出的努力。


值得一提的是,InfoQ 编辑在大会期间采访了虎牙直播的技术负责人,他表示对 Local Zones 和 Wavelength 非常关注。原因是,为了让内容更好看,虎牙直播的内容生产过程需要对主播拍摄的视频做越来越多的加工,观众交互过程也需要越来越多的效果,于是需要的计算量就越来越大,这就意味着仅靠用户的手机/PC 的计算能力是不够用的;而无论是对虎牙直播的主播还是观众,低延时是最为至关重要的用户体验,所以也不可能把这些计算工作放在离他们很远的节点进行。


目前,可用的计算节点都在各个区域的大数据中心,这些数据中心往往盖在偏远地区,而大部分用户都是住在各地城市里的,用这些数据中心来做此类计算并不是理想的方案。


所以,对于虎牙这一类服务提供商来说,问题就很明确了:在靠近用户的地方都有哪些计算节点可用?可想而知,在全球范围内,面对这个问题的服务提供商不仅仅是虎牙直播这么一家。


对应这个问题,有很多种可能的解决方案和方案提供方;不过,由一家能够提供云计算服务的提供方来解决这个问题,从社会资源的调配来看,很可能是目前最理想的配置!


AWS 为了回应这个问题而发布的两个方案的思路也是很明确的:


  1. Local Zones,把自己原有的 CDN 节点改造成计算节点,已经包含的计算服务包括 EC2、EBS、FSx、VPC、ELB、RDS。

  2. Wavelength,把运营商合作伙伴的 5G 基站改造成计算节点,目前还不知道将会包含哪些计算服务,我想 EC2 是最起码的吧。


这就比较有意思了: AWS 从 2006 年发展至今(2019 年 12 月 4 日),一共在全球开启了 22 个区域(还有 4 个已公布),包含了 69 个可用区(还有 13 个已公布)。如果用到直连网络 Direct Connect,则有 97 个网络节点可选。此外,还有 199 个边缘站点和 11 个区域边缘缓存,遍布在 37 个国家/地区的 78 个城市。



AWS Local Zones 的数量会不会很快就发展到 210 个?我觉得这可能不会需要花费特别长的时间。


然而,5G 基站的数量,又将会达到多少?5G 基站计算节点的数量,又将会达到多少?这就是个真正有意思的问题了。


本次主题演讲上,AWS Wavelength 是作为压轴、由 AWS CEO Andy Jassy 和 Verizon CEO Hans Vestberg 联合发布的。这也从侧面体现了这一边缘计算节点的重要性吧!


(我很兴奋!——Andy Jassy 如是说。)

第三个趋势:更加精细化的使用

这其实并不是一个 2019 年的新趋势,而是一个历史悠久的老趋势,不过它的重要性摆在那里,所以还是值得讲讲。所谓精细化使用的意思就是,用户可以需要多少买多少、需要什么品质的服务就买什么品质的服务,减少浪费,可以省钱;权限也只分配需要的,需要什么权限才给什么权限,这样更加安全。在今年的发布中,权限管理工具 S3 Access Points、可以在一个计算节点上挂更多存储从而减少计算资源浪费的 Redshift RA3 实例、可以把 ElasticSearch 要分析的日志数据先放到一个不那么贵的热存储上的 UltraWarm 服务、搭载了第二代自研 ARM 芯片(graviton2)的 M6g、R6g 与 C6g 实例,均属于在原有服务上进一步提升了细粒度,给用户提供了更多的精细化操作空间。


跟前两个趋势相比,这个趋势听起来不那么让人兴奋,但是非常的实用,很期待年年都能继续看到。


今天就先分享到这里。




欲了解更多 AWS re:Invent 信息,请关注 InfoQ AWS re:Invent 2019专区


2019-12-05 09:235096
用户头像
sai 有所为,有所不为

发布了 200 篇内容, 共 92.0 次阅读, 收获喜欢 70 次。

关注

评论

发布
暂无评论
发现更多内容

即时通讯技即时通讯技术文集(第8期):移动端弱网优化系列 [共14篇]

JackJiang

颜色的认识与使用(大屏颜色/仪表板报告设计)

Data 探险实验室

大屏配色 颜色 可视化颜色 配色搭配

云数据库 TiDB 入门级别的体验

TiDB 社区干货传送门

6.x 实践

TiDB x Aliyun 免费试用,竟还有这般福利?

TiDB 社区干货传送门

社区活动 版本测评 6.x 实践

云数据库 TiDB 初使用

TiDB 社区干货传送门

版本测评 安装 & 部署 性能测评 扩/缩容 6.x 实践

ZBC通证月内已翻倍,Nautilus Chain 上线前夕的“开门红”

股市老人

在流媒体时代,如何看待音乐版权?

曲多多(嗨翻屋)版权音乐

知识产权 音乐 版权

多模并起,万向融合 | 2023年2月《中国数据库行业分析报告》精彩抢先看

墨天轮

数据库 HTAP MatrixDB 多模数据库 超融合数据库

英方软件加入龙蜥社区,联手夯实数字基础设施坚实底座

OpenAnolis小助手

开源 数据复制 英方软件 龙蜥社区 CLA

云数据库TiDB-试用

TiDB 社区干货传送门

管理与运维 版本测评 安装 & 部署

Fine BI、Smart BI怎么办,瓴羊Quick BI已经可以提供移动端自助分析整体解决方案!

对不起该用户已成仙‖

LeetCode题解:2357. 使数组中所有元素都等于零,排序,详细注释

Lee Chen

JavaScript 算法 LeetCode

中冶赛迪:基于鲲鹏DevKit开发智慧城市基础设施管理平台,性能提升47%

Geek_2d6073

前端监控之性能与异常

京东科技开发者

监控 服务端 页面 企业号 2 月 PK 榜 js代码

测试角色在项目各阶段的项目管理tips

京东科技开发者

项目管理 测试 测试 单元测试 企业号 2 月 PK 榜

云数据库TiDB免费试用初体验

TiDB 社区干货传送门

社区活动 6.x 实践

ZBC通证月内已翻倍,Nautilus Chain 上线前夕的“开门红”

鳄鱼视界

云小课|MRS基础原理之Hue组件介绍

华为云开发者联盟

大数据 华为云 企业号 2 月 PK 榜 华为云开发者联盟

华为云CodeArts Artifact,5大特性守护制品质量与安全

华为云开发者联盟

云计算 开发 华为云 企业号 2 月 PK 榜 华为云开发者联盟

C++中const和constexpr关键字解析:常量、函数和指针

小万哥

程序员 后端 开发 C/C++ const

LeetCode题解:2357. 使数组中所有元素都等于零,哈希表,详细注释

Lee Chen

JavaScript 算法 LeetCode 哈希表

行云管家属于高新企业吗?安全吗?

行云管家

云计算 网络安全 高新企业 云管理 高新技术

Wallys/QSDK IPQ6010/wifi mesh function supports qcn9074/qcn6024 M.2 E Key Interface

Cindy-wallys

IPQ6010 ipq6018 IPQ6000

EasyNLP集成K-Global Pointer算法,支持中文信息抽取

阿里云大数据AI技术

人工智能 深度学习 信息抽取 算法模型 企业号 2 月 PK 榜

DevEco Studio 3.1 Beta1版本发布——新增六大关键特性,开发更高效

HarmonyOS开发者

HarmonyOS

爆肝!《Java权威面试指南(阿里版)》,冲击“金三银四”有望了

程序知音

Java java面试 java架构 后端技术 Java面试八股文

不要 ChatGPT,我们要你!2023 涛思招聘季重磅来袭~

TDengine

数据库 tdengine 时序数据库

互联网企业如何进行数字化转型?业务需求迭代频繁的应对之策!

优秀

数字化转型 互联网行业

数据库审计有什么用?过等保三级需要吗?

行云管家

数据库 等保 等级保护 数据库审计

在字节跳动,造赛博古籍

字节跳动技术范儿

后端 nlp 搜索 OCR 多模态

AWS re:Invent 2019深度观察(底层篇):两个趋势,新的革命?_服务革新_sai_InfoQ精选文章