写点什么

ArchSummit 北京 2014“云平台技术全景剖析”专题精彩回顾

  • 2014-12-19
  • 本文字数:2314 字

    阅读完需:约 8 分钟

12 月 19 日,ArchSummit 北京 2014 大会在北京国际会议中心拉开帷幕。

InfoQ 和阿里云合作推出了“云平台技术全景剖析”专场,有幸邀请到来自阿里云的黄湘龙、张献涛、朱照远、占超群等 4 位技术大咖,跟到场的技术人员分享了云架构背后的核心技术,云产品的发展历程和思考等干货,现场气氛非常火爆。很多听众积极提问,跟到场专家请教技术问题;有些听众甚至席地而坐或是站着听完了全程。以下是该专题精彩内容回顾。

黄湘龙(花名龙觉):云计算架构的实战案例

黄湘龙,在阿里云负责弹性计算,资深专家及总监,博士。在亚马逊工作多年,是 DynamoDB 产品的主要作者和创始团队成员。在阿里云主要负责弹性计算控制系统的研发。主持控制系统重构、优化,并参与了 VPC、IO/CPU 性能优化等项目的研发。

他首先介绍了自己负责的 ECS 控制系统所做的具体工作。作为 ECS 系统平台,从 API 入口,到物理集群,比如用户创建一个虚拟机或者销毁一个虚拟机,挂载磁盘,卸载磁盘,这些操作都会经过控制系统,控制系统一方面实现这些 API,在后台做资源调度和自动运维的工作。API 的并发有时会非常高,像大促活动这样的场景对控制系统要求非常高,尤其秒杀的情况下,有可能进来成千上万台虚拟机创建请求,所以对控制系统的并发度以及响应速度要求也极高。

之后他根据自己在云产品方面的多年的经验,分享了几个实战案例。

第一个案例是弹性伸缩。如果计算节点是没有状态的,做完一件事就直接返回结果,那增加或减少机器都很自然。但是大部分实际场景都是有状态的,如果有状态又做弹性伸缩的话,就需要做到同一个任务作不同的节点之间任意的切换,所以实际中会对状态多份复制,这样发生硬件故障也可以做到容错容灾。

第二个案例是服务间依赖。被依赖的服务有可能成为瓶颈。一种解决方案是内嵌式服务,把需要的服务实现到计算节点当中。其优点是性能好,运维简单。缺点是原来的计算节点又增加了一种应用,隔离性没那么好,而且自己实现也增加了对工程师的挑战。所以建议强依赖最好在内部实现。弱依赖则不必如此。

第三个案例是数据一致性。大规模下发流程,数据不一致是常态,所以要把它当做常用代码路径对待。现在的想法是将数据随机下发到几台机器,其他节点可以学习。

最后一个案例是拉取还是推送。拉取可以减少网络上的传输流量,还可以减少队列服务。

张献涛(花名旭卿):阿里云虚拟化技术研发之路

张献涛,虚拟化领域的资深人士,KVM/IA64 项目的 Maintainer。目前是阿里云资深专家,担任虚拟化技术总监,主导阿里云下一代虚拟化架构的设计与研发工作。

ECS 是阿里云产品体系中最基础的计算服务,通常用作应用程序的运行环境,其最重要的特点是弹性。底层虚拟化基于成熟的开源软件 Xen,为优化性能和稳定性,对 Xen 核心代码改动超过 100 项。为增加系统多样性,基于 KVM 的其他 Hypervisor 方案也在研。热迁移技术,底层基于 Xen 热迁移研发,改动超过 20 项。

他详细介绍了阿里云 Hotfix 的原理,基于函数动态替换技术,新函数会以模块内函数的形式链接入内核,旧函数的第一个指令改成强制跳转指令指向新函数,在替换过程中需要暂停所有 CPU,切到一个内核线程并关闭本地中断,刷新指令缓存,重新让 CPU 恢复执行。

另外,Hypervisor Hotfix 也是重点介绍的内容。

关于下一代虚拟化架构,目前在研的是 KVM 方案。设计特点,所有组件都支持热升级,升级过程用户无感知,运维主动升级时不中断业务连续性。这些在近期都是阿里云研究的挑战与技术探索方向。

朱照远(花名叔度):阿里云 CDN 技术演进

朱照远,高级技术专家,阿里云核心系统部 Web 平台团队负责人。2009 年加入淘宝网,现负责阿里巴巴 Web 服务器、CDN 等系统的研发。他是开源 Web 服务器项目 Tengine 的发起人。

朱照远介绍了阿里云 CDN 的特点和优势,包括:第一,稳定,节点资源很丰富,全球现在有 260 多个节点,有 7Tbps 带宽处理能力,有自主研发的缓存、调度、安全、业务管理等系统。第二,在安全方面有安全保护模块,有 1.6Tbps 的 DDoS 防护能力,基于大数据分析,快速准确识别攻击,实时阻断。第三,自助化业务部署,不需要人工干预,可以通过 Open API 管理。第四,按量计费,这样更灵活,成本更低,用户可以选择按带宽还是按流量计费。

他还介绍了从淘宝 CDN 到阿里 CDN 再到阿里云 CDN 的发展历程,并分享了 CDN 系统的架构设计。开发团队对 Tengine 和 Swift 做了性能优化,像集群的大文件分片缓存功能,利用 SPDY 的多路复用技术,减少三路握手和慢启动的影响,减少对本地端口的占用等。除了应用层的软件,还对 TCP 协议栈进行了优化。

占超群(花名离哲):分析数据库 ADS 的产品化、服务化实践

占超群,高级技术专家,阿里巴巴集团数据平台部架构师,实时分析数据库云产品 ADS(Garuda) 创始人。

分析数据库的产品逐渐成长,然后对外提供服务,过程中也是血泪史,不停地优化,产品化,服务化,支持更多的用户,更好的用户接口,整个过程比较曲折。

占超群分享了 ADS 的架构,并介绍了成长过程中比较痛苦的地方,包括运行建模、双十一的挑战和元数据中遇到的痛点。

占超群还分享了服务化的痛点和思考。如果多租户,这意味着资源是隔离的,如果不能做到精细化极速的资源控制,当业务波峰时就会有超时、慢查询。第二点,分布式系统提供稳定延时 SLA,这个非常难,因为网络、机器会发生各种问题,在分布式环境出问题的概率很高。第三个,多集群。如果业务很多,有几十个集群怎么运维。第四点,热升级,因为现在做的高并发在线服务,不能挂个通告说停两个小时。第五个,低成本,云服务低成本也有很多难度,因为做给一个人用和做给一万个人,这中间的难度不是一个量级的。

演讲的幻灯片和视频我们会逐步放到 InfoQ 的网站上,敬请关注。

2014-12-19 20:071650
用户头像
臧秀涛 略懂技术的运营同学。

发布了 300 篇内容, 共 135.2 次阅读, 收获喜欢 35 次。

关注

评论

发布
暂无评论
发现更多内容

室内设计软件Room Arranger 中文直装版 v9.8.2.644

Rose

室内设计 Room Arranger破解版 Room Arranger下载

LED屏模组偏色怎么办?

Dylan

LED显示屏 全彩LED显示屏 led显示屏厂家

【分布式技术专题】「探索高性能远程通信」基于Netty的分布式通信框架实现(Dispatcher和EventListener)(下)

洛神灬殇

分布式 Netty RPC 远程通信 2024年第二十六篇文章

如何实现一个高扩展、可视化低代码前端框架

互联网工科生

低代码 前端框架 JNPF

【年后跳槽必看篇-非广告】Kafka核心知识点 第三章

派大星

kafka Java’

用Chrome,Edge,360等浏览器如何调用底层硬件模块?

非也

chrome edge 信创 360安全浏览器 前端ui组件库

政务云相关名词解释看这里!

行云管家

云计算 云管平台 云管理 政务云

2024年带大家一起深入了解堡垒机功能以及作用

行云管家

网络安全 数据安全 云安全 堡垒机

软件测试的发展现状与未来趋势

测试人

软件测试

iZotope智能混音插件Mac版下载 iZotope Neutron 4破解 v4.5.0激活版

Rose

Mac软件 iZotope Neutron 4 智能混音插件

文心一言 VS 讯飞星火 VS chatgpt (190)-- 算法导论14.1 7题

福大大架构师每日一题

福大大架构师每日一题

一文搞懂设计模式—责任链模式

Java随想录

Java 设计模式

Wireshark的捕获过滤器

小齐写代码

苹果电脑 电子邮件客户端 Mimestream for Mac

Rose

Mac软件 Mimestream Mac破解版 Mimestream 下载 邮件客户端 Gmail邮箱

图片浏览和管理软件EdgeView 4 for Mac v4.4.7激活版

Rose

mac软件下载 苹果软件资源 EdgeView 4 图片浏览

矢量插图设计绘制Canvas X Draw v7.0.4激活版

Rose

Canvas X Draw 插图绘制软件 苹果软件资源下载

更简单高效地Git客户端 Tower for Mac注册版 兼容m1/m2

Rose

Git客户端 Tower破解版 Tower mac版

18个JavaScript技巧:编写简洁高效的代码

南城FE

JavaScript 前端 代码质量

Amadine for Mac矢量绘图软件 v1.5.5激活版 兼容m1/m2

Rose

矢量图设计 Amadine破解版 Amadine Mac

如何在网页上下载高质量视频和音频文件?推荐使用PullTube for Mac在线视频下载器

Rose

Mac视频下载器 PullTube使用教程 PullTube mac

Boxy SVG v4.23.2免激活版 mac矢量图编辑器 支持m1/m2

Rose

苹果软件下载 矢量图形编辑软件 Boxy SVG破解版 Boxy SVG mac下载

华为云DTSE助力车卫士架构升级,探索智能出行行业数字化新路径

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 华为云DTSE

基于volcano实现节点真实负载感知调度

华为云开发者联盟

云原生 后端 华为云 Volcano 华为云开发者联盟

GraphicConverter 12 :简单好用的图片浏览编辑器

Rose

GraphicConverter 12中文 GraphicConverter破解 Mac图片编辑器

如何实现一个百万亿规模的时序数据库,百度智能云 BTS 架构解析和实践分享

百度Geek说

架构 时序数据库 百度智能云

MIAOYUN获评OpenCloudOS社区2023年度优秀贡献企业

MIAOYUN

开源 云原生 开源操作系统 MIAOYUN OpenCloudOS 社区

报名AI产品原型设计公开课!与ProtoPie一起打造高保真AI原型

飞桨PaddlePaddle

百度 AI 百度飞桨 应用开发 飞桨星河社区

macOS思维导图软件 ClickCharts for Mac v9.0.3激活版

Rose

苹果软件下载 思维导图软件 ClickCharts Mac破解

2024年企业选择堡垒机指南

行云管家

网络安全 数据安全 云安全 堡垒机 企业数据安全

ArchSummit北京2014“云平台技术全景剖析”专题精彩回顾_服务革新_臧秀涛_InfoQ精选文章