快手、孩子王、华为等专家分享大模型在电商运营、母婴消费、翻译等行业场景的实际应用 了解详情
写点什么

Amazon EC2 美国东部数据中心发生故障——多个网站受到影响

  • 2011-04-24
  • 本文字数:1425 字

    阅读完需:约 5 分钟

美国东部地区的 Amazon Elastic Compute Cloud 目前正经受严重故障的考验。众多知名网站不可用或至少受到一定影响――其中包括 Reddit、Foursquare、Quora 、Hootsuite、 Heroku Assembla 和 Codespaces。故障的原因是位于维吉尼亚的美国东部数据中心中多个可用性区域(Availablity Zone)的EBS( Elastic Block Storage ,它还支撑着 Relational Database Services)容量不足。这很有可能是网络问题导致 EBS 控制器超载后弹性恢复 Schema 生效导致的。

8:54 AM PDT:早上早些时候的一次网络事件触发了 US-EAST-1 中的大量 EBS 卷重新镜像,造成 US-EAST-1 其中一个可用性区域的容量不足,这影响了新 EBS 卷的创建,以及重新镜像并恢复受影响 EBS 卷的速度。此外,我们内部的一个 EBS 控制层面(control planes)满了,这样一来创建新 EBS 卷和基于 EBS 的实例就很困难了。 ――摘自 Amazon AWS Dashboard

诸如 eWeek InformationWeek CNN 之类的新闻网站很快便报道了这一事件。 GigaOm 针对那些同样脆弱的依赖于 EC2 的 PaaS 提供商(Heroku、EngineYard 和 DotCloud)进行了一番讨论。

今天,4 月 21 日 1:41 AM PDT,Amazons 的 AWS 状态页上报告:“我们正在调查 EBS 卷的延迟和错误率,还有 US-EAST-1 区 EC2 实例的连通性问题。”直到现在为止(1:48 PM PDT),我们还没有彻底解决这个问题。

除了终结者电影中宣布的天网攻击时间恰好是 2011 年 4 月 21 日以及 Twitter 上给 Amazon 工程师的有用提示之外,关于本次意外故障还有一些精湛的回复。

@scottmcnealy :我说过网络就是电脑,但我并没说它能 100% 正常运行。
@torrenegra :今天是《终结者》中的审判日(2011 年 4 月 21 日),天网本该把我们全灭了,幸好它是跑在 Amazon EC2 上的。
@Nicolethebear :亲爱的 Amazon EC2――有没有试试开了再关?

通常一个 EC2 区域中的不同可用性区域是互不干涉的,因为它们是物理上隔离开的数据中心,通过优化过的连接来保证低延时。 如此说来,跨过多个 AZ 来架构系统应该能提供足够的风险管理来补偿一个或多个AZ 的故障。因此,它们的可用性保证受到了多方质疑。 PCWorld 与 Gartner 分析师 Drue Reeves 和 Reuven Cohen(Enomaly 的创始人和 CTO)一起讨论了这个话题。竞争对手云提供商 DotCloud (同样依赖于 Amazon EC2)报道了他们在本次故障中的经历,指出了一些灾难恢复上的技术问题。

Hacker News 的报道中引用了 Netflix 工程师的话,跨多个可用性区域的系统在本次故障中几乎没什么问题(“Netflix 部署在三个可用性区域里,少了一个仍可继续运行。这比彻底不可用的代价要小多了。”)

来自 backdrift.org 的 Keith 就如何处理此类停机时间给出了一些简单有效的建议。举例来说,使用配置管理系统来做镜像设置与更新(例如 puppet ),同步那些基于云的数据并保护你的 DNS 配置。 Clay Loveless 的一篇文章就此做了详细说明。

想要提前获得 AWS 问题的状态更新, Eric Hammond (Alestic)建议关注 @ylastic ,Eric Hammond 描述了如何让受影响的服务器重新上线。

今天这个事件的后果就是会有很多人对基于云的应用程序的可靠性提出质疑,需要给出必需的架构方面的预防措施以及风险管理。不仅是Amazon,其他的云提供商也必须如此,比如 VMware 的 CloudFoundry Google App Engine 。另一个话题将是云提供商给出的 SLA——Amazon EC2 针对多 AZ 部署的外部连通性 SLA 是 99.95%。EBS 和 RDS 都还没有 SLA。

查看英文原文 Major Outage on Amazons EC2 US-East Datacenter - Many sites affected

2011-04-24 07:593399
用户头像

发布了 135 篇内容, 共 60.0 次阅读, 收获喜欢 43 次。

关注

评论

发布
暂无评论
发现更多内容

最大噪音值甚至受法规限制,如何基于LBM算法有效控制风扇气动噪音

Altair RapidMiner

仿真 噪音数据 altair

高性能 HTTP 客户端 undici 初探

FunTester

tomcat里web.xml中load-on-startup参数含义

百度搜索:蓝易云

人工智能在招聘领域的革新:2024年值得关注的招聘API

幂简集成

招聘 API AI招聘

【HarmonyOS】鸿蒙组件长截屏方案

zhongcx

【HarmonyOS】鸿蒙H5页面调用图库

zhongcx

华为云&上海钧达数科 发布区块链数据要素联合解决方案

平平无奇爱好科技

有什么事?是当了程序员之后才明白的!

高端章鱼哥

【HarmonyOS】鸿蒙组件下划线与边框

zhongcx

将YAML文件解析为JAVA对象的方法

AlexLei

spring yaml

JNPF:开启智能制造新工具时代

不在线第一只蜗牛

低代码 制造业

深圳测试开发高薪线下周末班即将开班,从自动化到测试平台开发

霍格沃兹测试开发学社

华为云发布全栈可观测平台AOM,以AI赋能应用运维可观测

平平无奇爱好科技

华为云携手数字政通,打造新一代城市运行管理平台

平平无奇爱好科技

Mybatis的<insert>,<update>,<delete>标签用法

百度搜索:蓝易云

【HarmonyOS】鸿蒙TextPicker日期选择

zhongcx

华为云分布式消息服务DMS 9月新动态上线啦!

平平无奇爱好科技

华为云联合中国信通院发布《智能化软件开发落地实践指南》

平平无奇爱好科技

grub内核启动参数(kernel command-line parameters)

百度搜索:蓝易云

前端使用json-server快速搭建服务

百度搜索:蓝易云

价值社交新势力:RFG 通证为何如此火爆?

股市老人

【HarmonyOS】鸿蒙分页滚动文本组件

zhongcx

【HarmonyOS】鸿蒙自定义圆点进度条

zhongcx

【华为全联接大会2024】ONES与华为云深度合作,共同打造企业智能研发管理平台

平平无奇爱好科技

MySQL9的3个新特性

快乐非自愿限量之名

MySQL

华为云金融PaaS 赋能金融核心,激发云上创新

平平无奇爱好科技

谷歌AI大模型Gemini API快速入门及LangChain调用视频教程

陆通

Ubuntu 12.04 LTS查看网关地址方法汇总

百度搜索:蓝易云

澜舟智会再升级|企业用户与专业人士的智能会议助手

澜舟孟子开源社区

人工智能 智能助手 大模型 提高效率

在角色不一的全功能团队,如何做绩效排名?

思码逸研发效能

DevOps 研发效能 绩效管理 效能度量 研发效能管理

【HarmonyOS】鸿蒙Text组件两端对齐

zhongcx

Amazon EC2美国东部数据中心发生故障——多个网站受到影响_架构_Michael Hunger_InfoQ精选文章