11 月 29 日,一年一度的亚马逊云科技 re:Invent 全球大会开幕,今年也是 re:Invent 十周年。
re:Invent 2021 大会首日,亚马逊云科技发布了涵盖计算、物联网、5G、无服务器数据分析、大机迁移、机器学习等方向的多项新服务和功能:
包括发布基于新一代自研芯片 Amazon Graviton3 的计算实例、帮助大机客户向云迁移的 Amazon Mainframe Modernization、帮助企业构建移动专网的 Amazon Private 5G、四个亚马逊云科技分析服务套件的无服务器和按需选项以及为垂直行业构建的云服务和解决方案,如构建数字孪生的服务 Amazon IoT TwinMaker 和帮助汽车厂商构建车联网平台的 Amazon IoT FleetWise 等。
新任亚马逊云科技首席执行官 Adam Selipsky 首次亮相 re:Invent 全球大会。
演讲中, Adam Selipsky 首先回顾了亚马逊云科技发展过程中的重要里程碑。
2006 年,Amazon Simple Storage Service (Amazon S3) 简单存储问世。时至今日,Amazon S3 已成为业界公认的最重要的数据存储标准之一,存储超过 100 万亿个对象文件。
Amazon S3 推出几个月后,Amazon Elastic Cloud Compute (Amazon EC2)弹性计算问世,随即推出第一款数据库服务,从此云具备了有能力承载应用程序的所有基础元素。
如今,亚马逊云科技拥有 475+不同实例类型,通用型、计算优化型、内存优化型、存储优化型、硬件加速型......几乎适用所有工作负载。每天有超过 6000 万个新 Amazon EC2 实例启动。
亚马逊云科技现提供超过 200 项全功能的服务,涵盖计算、存储、数据库、数据分析、机器学习与人工智能....
Adam 表示,过去十五年,云计算从被质疑到成为新一代 IT 标准,并发展成影响整个 ICT 产业的创新和革命。
不过在 Adam 看来,云计算还处在非常早的时期。他援引分析师的估计,目前云上支出只占整个 IT 支出的 5%到 15%。未来将有大量的工作负载迁移到云,大量的创新即将在云上开展,云产业前景巨大。
在亚马逊云科技看来,尽管云计算已经极大地提高了 IT 的效率、敏捷性、弹性,但依然可以探索新的方式,让云变得更加灵活、成本更优、延迟更低。
发布三款由自研芯片支持的新 Amazon EC2 实例
Adam Selipsky 表示,“尽管我们已经如此努力地创新,我们依然意识到,如果希望针对所有可能的工作负载彻底变革计算的性价比,我们需要彻底重新思考实例。为了实现这个目的,我们需要深入底层技术,一直到芯片。因此,我们开始自己设计基于 Arm 的芯片。”
在 re:Invent 大会现场,亚马逊云科技宣布推出三款由自研芯片支持的新 Amazon Elastic Compute Cloud (Amazon EC2)实例,帮助客户提升在 Amazon EC2 上运行的工作负载的性能、成本和能源效率。
新 C7g 实例由 Amazon Graviton3 处理器支持,与由 Amazon Graviton2 处理器支持的当前一代 C6g 实例相比,可将计算密集型工作负载性能提高多达 25%。
Amazon Graviton3 处理器与 Graviton2 相比,为科学计算、机器学习和媒体编码工作负载提供高达 2 倍的浮点运算性能,为加密工作负载速度提升高达 2 倍,为机器学习工作负载提供高达 3 倍的性能。
Amazon Graviton3 处理器的能效也更高,在相同性能下,与同类型 EC2 实例对比,可节省高达 60%的能源消耗。C7g 实例是云中第一个采用最新 DDR5 内存的实例,与基于 Amazon Graviton2 的实例相比,它提高了 50%的内存带宽,从而提高了科学计算等内存密集型应用的性能。
与基于 Amazon Graviton2 的实例相比,C7g 实例的网络带宽也高出 20%。C7g 实例支持 Elastic Fabric Adapter (EFA),允许应用程序直接与网络接口卡通信,提供更低且更一致的延迟,提高需要大规模并行处理(如 HPC 和视频编码)的应用程序的性能。
C7g 实例现已提供预览版。欲了解更多 C7g 实例的信息,请访问:aws.amazon.com/ec2/instance-types/c7g。
由 Amazon Trainium 芯片支持的新 Trn1 实例为在 Amazon EC2 中训练绝大多数机器学习模型提供最佳性价比,及最快的训练速度。
越来越多客户正在构建、训练和部署机器学习模型。为了确保提高准确性,这些机器学习模型必须构建在越来越多的训练数据上,导致其训练成本越来越高。这可能会限制客户能够部署的机器学习模型数量。
亚马逊云科技为机器学习提供了更多计算服务选择,包括采用 NVIDIA A100 Tensor Core GPU 的 EC2 P4d 实例和采用 Habana Labs Gaudi 加速器的 EC2 DL1 实例。
但即使拥有当今最快的加速实例,训练持续变大的机器学习模型仍然是非常昂贵和耗时的。
Trn1 实例为在 Amazon EC2 中进行深度学习模型训练提供最佳性价比以及最快的训练速度,与 P4d 实例相比,通过 Trn1 实例训练深度学习模型的成本降低多达 40%。
Trn1 实例提供 800Gbps EFA 网络带宽(比最新基于 GPU 的 EC2 实例高两倍),并与 Amazon FSx for Lustre 高性能存储集成,让客户可以启动具有 EC2 UltraClusters 功能的 Trn1 实例。
通过 EC2 UltraClusters,开发人员可以将机器学习训练扩展到一万多个与 PB 级网络互连的 Trainium 加速器,让客户按需访问超算级性能,即便是最大型和最复杂的模型,训练时间也可以从几个月缩短到几天。
Trn1 实例现已提供预览版。欲了解更多 Trn1 实例的信息,请访问aws.amazon.com/ec2/instance-types/trn1。
基于自研 Amazon Nitro SSDs(固态驱动器)的新存储优化型 Im4gn/Is4gen/ I4i 实例为在 Amazon EC2 上运行的 I/O 密集型工作负载提供最佳存储性能。
Im4gn/Is4gen/I4i 实例旨在通过架构最大限度提高 I/O 密集型工作负载的存储性能。通过自研的 Amazon Nitro SSDs ,Im4gn/Is4gen/I4i 实例提供高达 30 TB 的 NVMe 存储,与上一代 I3 实例相比,I/O 延迟降低了 60%,延迟可变性降低了 75%,从而最大限度地提高了应用程序性能。
Amazon Nitro SSDs 通过优化存储堆栈、虚拟化管理程序和硬件与 Amazon Nitro 系统紧密集成。与使用商用 SSD 相比,亚马逊云科技同时管理 Amazon Nitro SSDs 的硬件和固件,使 SSD 更新交付速度更快,让客户可以从改进的功能中获益。
Im4gn 实例(现已可用)采用 Amazon Graviton2 处理器,与 I3 实例相比,性价比提高多达 40%,每 TB 存储成本降低多达 44%。Is4gen 实例(现已可用)也采用 Amazon Graviton2 处理器,与 I3en 实例相比,每 TB 存储成本降低多达 15%,计算性能提高多达 48%。开始使用 Im4gn/Is4gn 实例,请访问aws.amazon.com/ec2/instance-types/i4g。
I4i 实例(即将可用)采用英特尔第三代可扩展处理器(Ice Lake),与当前一代 I3 实例相比,计算性能提高多达 55%。欲了解更多 Im4gn/Is4gen/ I4i 实例的信息,请访问aws.amazon.com/ec2/instance-types/i4i。
发布云上全面数据解决方案
数据是企业洞察的驱动器。亚马逊云科技在云上推出了全面的数据解决方案,从数据库、到数据分析,到人工智能,希望帮企业获得数据洞察,更好地推动业务发展。
Adam 在主题演讲中宣布,亚马逊云科技分析服务套件新推出三种无服务器选项和一个按需选项:
Amazon Redshift Serverless 可在几秒钟内自动设置和扩展资源,让客户在 PB 级数据规模运行高性能工作负载,而无需管理数据仓库集群;
Amazon Managed Streaming for Apache Kafka (Amazon MSK) Serverless 可快速扩展资源,极大地简化实时数据摄取和流式传输;
Amazon EMR Serverless 让客户无需部署、管理和扩展底层基础设施,即可使用开源大数据框架(如 Apache Spark、Hive 和 Presto)运行分析应用程序。
Amazon Kinesis On-demand 是亚马逊云科技为 Amazon Kinesis Data Streams(一种用于捕获、处理和存储流媒体数据的无服务器服务)推出的新功能(新的容量模式),利用它可以提供每分钟 GB 级别的读写吞吐量,而无需进行容量规划。
机器学习是数据洞察必不可少的。亚马逊云科技拥有广泛和完整的机器学习功能特性组合,从机器学习框架和基础设施、机器学习服务到开箱即用的人工智能服务。亚马逊云科技的机器学习服务 Amazon SageMaker,目前有数万客户正在使用,训练具有数十亿个参数的模型,每月进行数千亿次预测。自 2017 年问世以来,Amazon SageMaker 已经陆续添加了 150 多项功能和特性。
此外,Adam 还宣布了一项重要的 Amazon SageMaker 新功能——Amazon SageMaker Canvas,它让业务人员和数据分析人员能够使用可视化的点选界面,生成高准确度的机器学习预测,不需要写程序代码。
亚马逊云科技还为其数据湖服务 Amazon Lake Formation 增加了两个功能,Row and cell-level security for Lake Formation 为湖中数据提供精确到数据行和单元格的细颗粒度访问控制;Transactions for governed tables in Lake Formation 确保湖中数据的一致性,这两项功能让数据湖的搭建、治理和管理更加容易。
推出两项 IoT 新服务,赋能行业
大会现场,亚马逊云科技还推出了两项 IoT 新服务—— Amazon IoT TwinMake/FleetWise,赋能更广泛的行业。
中桥调研咨询(Sino-bridges)首席分析师王丛认为:“Amazon IoT TwinMaker 打通物理和虚拟世界,让物理世界监控管理更加实时,高效,智能。另外,Amazon IoT FleetWise 让这种数实融合的综合管理能力转化为车队物联网监控、分析、管理创新服务。”
Amazon IoT TwinMaker 可更轻松、快捷创建现实世界的数字孪生
Amazon IoT TwinMaker 让开发人员更加轻松、快捷地创建现实世界的数字孪生,如楼宇、工厂、工业设备和生产线。
数字孪生是物理系统的虚拟映射,可根据其所代表的现实世界对象的结构、状态和行为定期更新。Amazon IoT TwinMaker 让开发人员可以轻松汇集来自多个来源(如设备传感器、摄像机和业务应用程序)的数据,并将这些数据结合起来创建一个知识图谱,对现实世界环境进行建模。
客户可以通过 Amazon IoT TwinMaker,使用数字孪生来构建反映现实世界的应用程序,提高运营效率并减少停机时间。使用 Amazon IoT TwinMaker 无需预付费用,客户只需为使用的服务付费。使用 Amazon IoT TwinMaker,请访问:aws.com/iot-twinmaker。
制造企业从设备传感器、摄像机和业务应用程序(例如企业资源规划系统或项目管理系统)等来源收集和处理有关其设备和设施的大量数据。许多客户希望结合这些数据源来创建其物理系统的虚拟映射(称为数字孪生),帮助他们模拟和优化运营绩效。
但是,即便对技术最先进的企业来说,构建和管理数字孪生也很困难。为了构建数字孪生,客户必须手动连接来自不同来源的不同类型的数据(例如来自设备的时间序列传感器数据、来自摄像机的视频传送、来自业务应用程序的维护记录等)。然后,客户必须创建一个知识图谱,提供对所有连接数据的通用访问,并将数据源之间的关系映射到物理环境。
为了实现数字孪生,客户必须构建其物理系统(例如楼宇、工厂、设备、生产线等)的 3D 虚拟模型,并将现实世界的数据叠加到 3D 视图上。一旦他们获得具有实时数据的现实世界的虚拟映射,客户就可以为工厂操作员和维护工程师构建应用程序,并利用机器学习和数据分析来洞察其物理系统的实时操作性能。由于上述所需工作的复杂性,绝大多数企业无法使用数字孪生来改善其运营。
Amazon IoT TwinMaker 让创建现实世界的数字孪生变得更加轻松、快捷。使用 Amazon IoT TwinMaker,开发人员可以将 Amazon IoT TwinMaker 连接到设备传感器、视频源和业务应用程序等数据源,快速开始构建设备、装置和流程的数字孪生。为方便从各种数据源收集数据,Amazon IoT TwinMaker 包含适用于 Amazon IoT SiteWise、Amazon Kinesis Video Streams 和 Amazon S3 的内置连接器(客户也可以为 Amazon Timestream 或 Snowflake 等数据源添加自己的连接器)。
Amazon IoT TwinMaker 会自动创建一个知识图谱,整合并理解所连接数据源的关系,因此它可以使用被映射系统的实时信息更新数字孪生。客户可以将现有的 3D 模型(例如 CAD 和 BIM 文件、点云扫描等)直接导入 Amazon IoT TwinMaker,轻松创建物理系统(例如楼宇、工厂、设备、生产线等)的 3D 视图,并将知识图谱中的数据叠加到 3D 视图上,创建数字孪生。
数字孪生创建完毕后,开发人员就可以使用适用于 Amazon Managed Grafana 的 Amazon IoT TwinMaker 插件创建基于 Web 的应用程序,在工厂操作员和维护工程师用于监控和检查设施和工业系统的设备上,即可显示该应用程序的数字孪生。通过 Amazon IoT TwinMaker,更多客户可以使用数字孪生模型构建模拟现实世界的应用程序,提高运营效率并减少停机时间。
据悉,Amazon IoT TwinMaker 现已在美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、亚太地区(新加坡)和欧洲(爱尔兰)区域提供预览,其他区域也将很快推出。
在线下媒体会上,对于目前火热的元宇宙概念,亚马逊全球副总裁、亚马逊云科技大中华区执行董事张文翊对 InfoQ 等媒体表示,元宇宙是云计算可以大量赋能的一个领域。她表示:“我们认为元宇宙一定是云计算可以大量赋能的一个领域。元宇宙本身需要的就是计算、存储、机器学习等,这些都离不开云计算。比如 Epic Games 是个开发元宇宙游戏 Fortnite(堡垒之夜)的公司,全球拥有 3.5 亿用户,它的工作负载几乎全部都跑在亚马逊云科技上。”
亚马逊云科技大中华区产品部总经理顾凡如此看待火热的元宇宙概念:“元宇宙里面融合了大家所熟知的大量技术,而这些技术的背后就是云计算。无论是在数字世界里面建模,还是与之互动,都离不开机器学习在背后支撑。与此同时,元宇宙的世界必然会产生超级大的数据量,这些数据都离不开底层平台,而云一定是最佳的平台。”
Amazon IoT FleetWise 帮助汽车制造商收集、管理车辆数据
亚马逊云科技还宣布推出了 Amazon IoT FleetWise,让汽车制造商更轻松、经济地收集、管理车辆数据,同时几乎实时上传到云端。
通过 Amazon IoT FleetWise,汽车制造商可以轻松地收集和管理汽车中任何格式的数据(无论品牌、车型或配置),并将数据格式标准化,方便在云上轻松进行数据分析。
Amazon IoT FleetWise 的智能过滤功能,帮助汽车制造商近乎实时地将数据高效上传到云端,为减少网络流量的使用,该功能也允许开发人员选择需要上传的数据,还可以根据天气条件、位置或汽车类型等参数来制定上传数据的时间规则。
当数据进入云端后,汽车制造商就可以将数据应用于车辆的远程诊断程序,分析车队的健康状况,帮助汽车制造商预防潜在的召回或安全问题,或通过数据分析和机器学习来改进自动驾驶和高级辅助驾驶等技术。
使用 Amazon IoT FleetWise 无需预付费用,客户只需为使用的基础服务付费。欲了解 Amazon IoT FleetWise,请访问aws.amazon.com/iot/fleetwise。
具有标准车辆数据收集功能的 Amazon IoT FleetWise 现已在美国东部(弗吉尼亚北部)和欧洲(法兰克福)区域提供预览,其他区域也将很快推出。Amazon IoT FleetWise 先进的摄像头传感器数据收集功能预计将于 2022 年上半年推出。
新产品和新服务何时落地中国?
提及此次发布的产品和服务何时落地中国,产品和服务面向国内市场和美国市场有何不同时,亚马逊云科技大中华区产品部总经理顾凡对 InfoQ 等媒体表示:“我们有的时候不能直接简单去看这个产品到底中外有什么差异,而是要看我们是否已经把中国客户的需求结合到产品设计里面。比如今天提到的 Graviton2、Graviton3,我们一定会加速把 Graviton3 带到中国。再比如,全球 SageMaker 同步首发的六个区域,中国就占了两个,就是因为中国客户的机器学习场景非常多。”
评论