我们曾于 11 月 22 日发布了一篇博文，内容是即将召开的 re:Invent 大会的开源会议与活动，当时有很多内容都没有涉及到，因为这些内容当时尚未发布！在 re:Invent 大会上，我们发布了不少令人兴奋的与开源相关的公告，其中包括 FreeRTOS、EKS、Fargate 和 SageMaker。在这些公告发布后，我们即刻将这些新的会议内容添加到了 re:Invent 目录中，包括这些新发布项目的概述和深入理解。
以下是与开源相关的会议和研讨会的概述，并附带了视频和幻灯片链接。此列表并非详尽无遗：还有许多其他的会议介绍了机器学习中会用到的开源软件。您也可以参阅 2017 年 re:Invent 大会机器学习指南，了解 Apache MXNet、Gluon、TensorFlow 以及相关工具和话题的更多信息。(那篇博文已经进行了更新，添加了已有视频的相关链接；本文亦会如此。)
关于开源
Adrian Cockcroft 和 Zaheda Bhorat 谈到了 AWS 在开源领域的所有努力、谈到了我们的项目，还谈到了我们如何开展合作。
CON205 – 相得益彰：容器与 AWS 开源项目 (****视频)
来自 CNCF、Docker 和 Kubernetes 社区的思想领袖与 AWS 的思想领袖一起愉快地讨论了云对开源社区的发展和实现起到的指导作用，以及 AWS 如何将开源代码整合到容器服务中，并肯定了我们对开源项目的贡献。
FreeRTOS
IOT212 – 全新发布！Amazon FreeRTOS：适用于微控制器的 IoT 操作系统 (视频)
我们来深入了解一下最新发布的 Amazon FreeRTOS，这是一个面向微控制器的操作系统，它可以使低功耗的小型边缘设备易于编程、部署、确保安全、连接和管理。Amazon FreeRTOS 以 FreeRTOS 内核 (一款适用于微控制器的常用开源操作系统) 为基础，并通过软件库对其进行扩展，从而让您可以轻松地将低功耗的小型设备安全连接到 AWS IoT Core 等 AWS 云服务或运行 AWS Greengrass 的功能更强大的边缘设备。
IOT403 – 全新发布！AWS Greengrass 和 Amazon FreeRTOS：边缘设备的互联性和安全性 (视频)
客户如何在运行 Greengrass 的边缘设备上使用 Amazon FreeRTOS。该视频将介绍如何连接到运行 Amazon FreeRTOS 的设备、如何将设备连接到 Greengrass，以及这两种服务如何协同作用来满足客户使用案例需求。我们还将介绍 Amazon FreeRTOS 和 Greengrass 使用过程中涉及的关键管理和 TLS 实施的安全性最佳实践。
EKS
CON215 – 全新发布！Amazon EKS 简介 (视频)
Amazon Elastic Container Service for Kubernetes (Amazon EKS) 是一款在 AWS 上运行 Kubernetes 的全新托管服务。此会议对 Amazon EKS 进行了简要概述，介绍了为什么要构建它，以及它的工作原理。
我们来深入了解一下 Amazon EKS 的工作原理，首先预置节点，然后启动 pod 并与 Elastic Load Balancing 和 Auto Scaling 等 AWS 服务集成。
Fargate
CON214 – 全新发布！AWS Fargate 简介 (视频)
AWS Fargate 是一项适用于 Amazon ECS 和 EKS 的技术，让您无需管理服务器或集群即可运行容器。加入我们，详细了解 Fargate 的工作原理，为什么要构建它，以及如何立即开始使用它来运行容器。
CON333 – 深入了解 AWS Fargate (视频)
AWS Fargate 使得在 AWS 上运行容器化工作负载比以往更加容易。此会议将提供在现有容器化服务中使用 Fargate 的技术背景，包括构建映像、配置任务定义、任务联网、密钥管理和监控的最佳实践。
SageMaker
MCL365 – 全新发布！Amazon SageMaker 简介 (视频)
Amazon SageMaker 是一项完全托管的服务，使数据科学家和开发人员能够快速轻松地大规模构建、训练和部署机器学习模型。此会议将介绍 Amazon SageMaker 的功能，包括一键式训练环境、通过内置模型优化高度优化的机器学习算法，以及无需工程工作的部署。
MCL341 – 全新发布！使用 Amazon AI 打造可无限扩展的机器学习算法 (视频)
在机器学习中，对大量数据进行大型模型训练通常会使结果得到改善。然而，我们的客户提供的报告称，对这些模型进行训练和部署要么在操作上是被禁止的，要么是完全不可能的。Amazon AI 算法旨在解决这个问题。它是分布式流式 ML 算法集合，可扩展到任意数量的数据。它们快速有效，因为它们分布在 CPU/GPU 机器上，并通过高度优化的参数服务器共享一个集合分布式状态。它们之所以能够扩展到无限数量的数据，是因为它们在流模型中运行。也就是说，它们只需在数据间进行一次传输且不会增加资源消耗，允许对训练执行暂停、恢复和创建快照操作，甚至可以使算法直接消耗 kinesis 流 (可以提供“永远在线”的训练机制)。它们可用于生产环境。使用 Amazon SageMaker 托管，经过训练的模型会自动容器化并可在生产环境中使用。最后，我们提供了一个便捷的开发工具包，可让科学家创建在该模型中运行的新算法，并具有以上所有优势。
此会议讨论了我们的设计选择和系统的一些内部工作。此外，还会介绍分布式流模型，以及它为机器学习从业者带来的诸多好处。我们将展示如何从 Amazon SageMaker 或 Amazon EMR 调用大规模学习，并托管解决方案。
MCL408 – 全新发布！在 Amazon SageMaker 上训练和托管机器学习模型
Amazon SageMaker 可在托管的 Jupyter Notebook 环境中进行无服务器分布式模型训练并自动扩展托管，从而实时生成预测。请观看我们的板书演讲，了解如何使用 SageMaker 支持的各种方法来训练和托管机器学习模型。我们将利用 Amazon 的两种定制算法，并展示如何将其各自的算法融入到 Docker 容器中。我们还将演示如何通过托管的 Jupyter Notebook 与 SageMaker 进行交互，以及如何与现有的 Spark EMR 管道集成。
Kubernetes
CON308 – 在 AWS 上管理 Kubernetes (视频)
在 AWS 上运行 Kubernetes 的见解和体验。
CON213 – 在 AWS 上实现 Kubernetes 部署 (幻灯片)
使用 Kubernetes 和 Kops (Kubernetes Operations) 在 AWS 上创建、部署、管理和扩展 Kubernetes 集群。了解如何部署基于微服务的应用程序以及为其使用服务发现。
社区会议
AWS 开源指南是一个开源编写项目，现已成为 Web 上最受欢迎的 AWS 资源之一。这是 GitHub 上参与者超过 100 人的一项书面资源，也是一个大型 Slack 组。每个都已成为交流标准文档中没有的实践知识的论坛。我们对该“指南”进行了探讨，探讨了它的起源、如何分享种子初始内容课程、它的编辑流程，以及如何发展健康的扩展社区并吸引社会参与。
DVC201 – 通过社区主导的用户组培养 AWS 技能 (视频)
您知道吗，全球有 300 多个 AWS 用户组？加入这个由全球 AWS 社区领袖参加的小组讨论，并了解参加您所在区域社区主导的 AWS 聚会的价值。社区领袖会分享他们的经验，讨论本地社区如何帮助开发人员解决问题并实现目标，并讨论参与点对点 AWS 知识共享和联网活动的好处。
上述两场会议是 re:Invent 开发人员社区日活动的一部分，在这六场社区主导的会议上，AWS 爱好者会根据本地 AWS 社区共享的一手经验和知识，分享与热门主题有关的技术见解。
其他开源主题
ABD202 – 构建无服务器大数据应用程序的最佳实践 (视频)
探索大数据无服务器架构背后的概念和优势，何时以及如何使用无服务器技术来简化数据处理，最大限度地减少基础设施管理，提高敏捷性和稳健性，并共享综合运用云和开源技术的参考架构。
ABD403 – 使用 Amazon EMR 和开源工具进行分布式机器学习和预测分析的最佳实践 (视频)
使用 Amazon Elastic Map Reduce 进行预测分析的常见使用案例和设计模式。我们发布了从数据湖访问数据、使用 Apache Spark 进行提取和预处理、使用笔记本 (Jupyter、Zeppelin) 进行分析和机器学习代码开发，以及使用 Amazon QuickSight 实现数据可视化等其他操作主题。
DAT401 – Boss：大规模神经科学的千兆级数据库 (视频)
Boss 使用 AWS 提供具有创新存储层次结构和自动扩展功能的云原生空间数据库。我们对 Boss 进行了概述，并介绍了 APL 如何将 Amazon DynamoDB、AWS Lambda 和 AWS Step Functions 用于系统的多个高吞吐量组件。我们还探讨了无服务器技术带来的挑战和取得的成功。
DEV315 – GitHub to AWS Lambda：开发、测试和部署无服务器应用程序 (视频)
如何将 GitHub 用作 DevOps 工具链核心的实践演示。了解如何利用 AWS 与 Jenkins 的集成、AWS CLI 和开源软件为 AWS Lambda 构建、测试和部署服务。(GitHub, Inc. 赞助的会议)
DEV332 – 在 3M 使用 AWS 实现自治和控制 (视频)
AWS 高级顾问 Nathan Scott 和 3M 自动化工程经理 James Martin 就他们如何在 AWS 上通过自助式自动化工具实现自治和控制进行了探讨。来自 Stelligent 的首席架构师 Casey Lee 还进行了演示，他介绍了帮助 3M 实现这一目标的工具，包括 AWS Service Catalog、AWS CloudFormation、AWS CodePipeline 和 Cloud Custodian (一款用于管理 AWS 账户的开源工具)。
ENT318 – 利用云策略框架 – 从放任自流到控制良好 (视频)
开源“云策略框架”使用户能够利用社区来帮助定义和优化最佳实践策略，并帮助 SaaS 供应商和 ISV 发现管理应用程序及与客户共享的最佳方式。(CloudHealth Technologies 赞助的会议)
LFS304 – 诞生于 AWS 云中：Eagle Genomics 如何使用 AWS 处理数十亿 DNA 序列片段 (视频)
随着基因组测序在科学发现领域的应用日益增多，研究人员的速率控制步骤并非获取遗传密码，而是获取存储和计算容量来分析它。了解 Eagle Genomics 如何使用开源工作流引擎 (eHive) 构建云解决方案、构建 Docker 容器来处理任务，以及构建 REST 服务来管理管道运行，这些都可以帮助客户将基因序列处理速度提高 20 倍，而无需额外成本。
SRV302 – 为无服务器应用程序构建 CI/CD 管道 (视频)
这是一种对在 AWS Lambda 上运行的无服务器应用程序进行自动化部署的方法，包括如何使用开源 AWS 无服务器应用程序模型 (AWS SAM) 对无服务器应用程序进行建模和表达。
SRV424 – 使用 PyWren 和 AWS Lambda 进行大规模并行数据处理
如何使用名为 PyWren 的开源项目来加快处理速度，从而跨数百或数千个 AWS Lambda 函数大规模并行处理数据分析任务。
DEV337 – 使用 AWS CloudFormation 部署数据湖 (幻灯片)
了解如何使用业已验证的方法和最佳实践来构建 AWS CloudFormation 模板。使用 AWS 服务 (如 Amazon RDS) 和 Apache Zeppelin 等开源组件部署功能完善的数据湖架构。
GPSWKS301 – GPS：轻松构建综合性的大数据分析架构 (幻灯片)
现代大数据架构涉及将您本地部署的数据管理扩展到 AWS，实施数据管道以将实时数据流式传输到云数据仓库 Amazon Redshift，通过机器学习执行数据转换、发现、预测分析、直观呈现复杂信息，以及接收通知并响应业务事件。此会议是为了帮助 APN 咨询合作伙伴和组织找到途径，来加速大数据项目并实现现代化。您将了解如何在 AWS Marketplace 中使用第三方解决方案部署和集成 AWS 服务。将 AWS 服务、开源软件和可立即运行的 AWS 解决方案相结合，缩短上市时间。
ARC318 – 在 AWS 上构建基于 .NET 的无服务器架构并在 Docker 容器中运行 .NET Core 微服务 (视频)
常见的方法是将常见的旧版 .NET 应用程序重构为微服务和 AWS 无服务器架构。现代方法是在 AWS 上重构基于 .NET 的架构，并在 AWS 中，在 Linux 上的原生 Docker 容器内运行 .NET Core 微服务，同时检查 AWS 开发工具包和 .NET Core 平台的使用。
作者介绍：
Deirdré Straughan
本文转载自 AWS 技术博客。
原文链接：
https://amazonaws-china.com/cn/blogs/china/reinvent-os-recap/
中国开发者画像洞察研究报告 2024
分析开发者的行为模式、工作价值、职业发展等内容，帮助整个行业生态更深入地理解开发者，为他们提供更精准...
评论