写点什么

大众点评容器云平台:运营超一年,承载大部分业务

  • 2015-08-10
  • 本文字数:2219 字

    阅读完需:约 7 分钟

Docker 容器的应用场景之一就是构建企业私有云平台,它简单、轻量的特点不仅可以降低私有云的构建难度,而且还能更高效的利用物理资源。同时,容器在安全性方面的短板恰恰因为私有云的应用场景而显得不再重要。但基于容器的私有云也有不少挑战,比如网络、监控、用户习惯等方面都需要有好的解决方案。大众点评在 2014 年 7 月就基于 Docker 搭建了私有云平台,目前平台承担了大部分的线上的业务,实例数 2800 个左右,Docker 物理集群 300 多台。InfoQ 记者采访了大众点评云平台首席架构师盛延敏,听他分享大众点评私有云平台实战过程中踩过的坑和经验教训。另外,盛延敏还将在 8 月 28 日~29 日举办的 CNUTCon 全球容器技术大会上分享题为《大众点评的容器私有云实战》的演讲,敬请关注。

InfoQ:点评是从什么时候开始使用 Docker 构建私有云平台的?未使用容器云之前,点评内部有基于其他技术搭建私有云吗?基于 Docker 的私有云会有哪些优势?有哪些挑战?

盛延敏:我们从 2014 年开始基于 Docker 搭建点评的私有云平台。原先点评的应用都是部署在 KVM 上的,大量重复性的操作耗费了运维同学不少的时间和精力,特别是扩容和缩容这块。所以就萌发了使用 Docker 搭建一个私有云平台的想法,借助云平台,将应用标准化,运维自动化。从目前使用情况来看,基本达到了原先设想的目标。

未使用容器云之前,点评内部谈不上使用过私有云。从实践来看,基于 Docker 的私有云可以带来更高效的物理资源使用率,更快的部署以及更加统一规范的标准化运行环境。较虚拟化云,其优势还是很明显的。关于挑战,我的主要体会是安全和规范,Docker 还不能做到完全的多租户环境,这一点对于安全敏感的企业级应用是一个不小的挑战。不过,对于私有云而言,这一点倒不是一个致命的短板。另外一个从实践来看,大家对于从 KVM 过渡到 Docker 的使用环境,使用习惯也是一个不小的挑战。举个例子,在 KVM 时代,应用上线前是一定要分配一些 KVM 实例的,这样可以加速应用上线发布的速度。到了 Docker 时代,Docker 可以支持实例秒级创建,是不是还一定要预先分配实例?这其实是一个使用习惯的问题。

InfoQ:你们的容器云平台使用了哪些开源的技术栈?

盛延敏:底层使用了 Docker,通过 Dockerfile、Docker Registry 统一管理应用的标准化运行环境。这一块是整个容器云的基石。
组件之间的交互使用了 NATS,通过消息的『发布 - 订阅』模型,将各个组件之间的耦合最小化。这也是参考和学习了 Cloud Foundry 公有云架构。

接入层使用了 Nginx 和 ZooKeeper,对于 Web 类型的应用,通过和 Nginx 暴露的 Restful 接口交互,完成实例在集群内的注册以及注销。对于服务类型的应用,通过在 ZooKeeper 上注册和注销服务 IP 和端口,便于服务客户端发现和更新该服务。

InfoQ:从我的理解来看,基于容器的私有云,需要用户了解 Docker 等技术,并且容器推荐的是使用微服务架构。那你们在内部推进这样的私有云是否困难?架构方面的问题如何解决?

盛延敏:你说的很对。所以我们从一开始就制定了合适的目标,其中最重要的是不要让用户感觉到 KVM 切换到 Docker 这个转换,在这个目标基础上我们做了大量的工作。比如,用户并不需要自己了解 Dockerfile,我们使用 Dockerfile 来定制应用运行的环境,如果需要更新运行时环境,也是由云平台团队来维护。如果你需要 Node.js 的环境,我们可以帮助定制一个 Node.js 的镜像。再比如,我们更改了 Docker 的代码,让其从推荐的微服务架构演变到目前的『虚拟机』架构。开发和运维可以通过 IP 直接访问到 Docker『虚拟机』,基于 IP 的应用基础架构也不需要开发和运维做剧烈的改变。通过这些方法,加上公司内部的支持,逐渐推动了私有云平台的加速建设。

InfoQ:目前有哪些业务跑在容器上了?怎么样的业务适合容器云?

盛延敏:基本上除搜索和数据库以外,点评现有的业务大多都有跑到容器上的。当然覆盖率还在提升当中。只要是可以标准化的业务,经过改造基本都可以跑到容器云上。当然这里面也有一些特殊情况,例如 IP 本身是不是对外暴露的,是否可以支持横向扩展等等。

InfoQ:监控、网络方面的问题是如何解决的?

盛延敏:监控点评有业绩比较有名的 CAT(Central Application Tracking),所以我们的监控也是接入 CAT 的。通过收集 CGroups 和 Docker 实例的实时信息,将内存、CPU、网络等源源不断的上报到 CAT。再由 CAT 提供查询,检索和展示。当然,也支持告警。

关于网络,主要是采用了 Linux bridge 工作在 level 2 的模式,使公共 IP 得以暴露出来,这部分我们是做了定制的。

InfoQ:目前私有云的有哪些基础功能?可以做什么,不可以做什么?接下来有什么规划?

盛延敏:主要的基础功能包括实例的创建和销毁、缩容和扩容,和 DevOps 工具集成等等。接下来会把精力放到整个平台的演进上,包括模块的进一步拆分,新的镜像的支持,和运维工具 Puppet 的集成等等。

InfoQ:这么长时间的应用,有做过复盘吗?未来有什么计划?

盛延敏:我们还是复盘过的,其实我们自己觉得也比较幸运,刚开始决定做 PaaS 的时候,正是 Docke 技术出现并繁荣的时候,在 Docke 上构建整个私有云平台是一个比较明智的决定。更早一点的话,说不定就使用 LXC 或者 Warden 了。未来的计划还是跟公司的业务需求紧密结合,最大能力的发挥 PaaS+Docker 的威力。

InfoQ:你将在 CNUTCon 上分享哪些内容?

盛延敏:上述的内容都会有涉及到。另外,还有大量我们的『干货』分享,都是我们曾经踩过的坑哦。欢迎大家捧场。谢谢!

2015-08-10 08:396190
用户头像

发布了 219 篇内容, 共 138.1 次阅读, 收获喜欢 191 次。

关注

评论

发布
暂无评论
发现更多内容

专业的数据库管理工具Navicat Premium for Mac

Mac相关知识分享

数据库管理工具

电商搜索效率的革命性提升:阿里巴巴搜索API返回值的应用

技术冰糖葫芦

API Gateway API 接口 API 测试 pinduoduo API

唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍

申公豹

数据中台

TDengine 签约国家电投旗下四大火力发电厂,助力汽轮机振动数据的有效管理

TDengine

数据库 tdengine 时序数据库

【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战

申公豹

数据飞轮

VSD文件查看软件Mac版 VSD Viewer

理理

苹果电脑学剪辑就用fcp专业视频后期制作(Final Cut Pro最新直装激活版安装)

理理

淘宝商品详情API接口多线程调用:解锁数据分析行业的效率新篇章

代码忍者

API 接口 API 测试 pinduoduo API

TDengine 签约首自信,管理 50 万个监测点、80 万亿条记录

TDengine

数据库 tdengine 时序数据库

Forrester Wave™ 向量数据库报告:Zilliz 获评领导者象限最高分

Zilliz

人工智能 AI Zilliz 向量数据库

实时语音交互中文基准首期测评出炉;美取消 SB-1047 法案,大模型厂商大难不死丨 RTE 开发者日报

声网

HarmonyOS NEXT 实战输入文字转化语音

李洋-蛟龙腾飞

数造科技入选中国信通院《高质量数字化转型产品及服务全景图》三大板块

数造万象

人工智能 大数据 数据治理 科技 新能源车

万界星空科技MES系统生产计划管理的功能

万界星空科技

工业互联网 制造业 mes 万界星空科技mes 生产车间管理

观测云对接 SkyWalking 最佳实践

观测云

Skywalking

望繁信科技亮相2023北京央企部委及大型企业CIO年会,为“数字化转型”注入全新想象

望繁信科技

数字化转型 流程挖掘 流程资产 流程智能 业务流程管理优化

Sketch for mac(专业矢量绘图设计软件)

Mac相关知识分享

新能源电池行业MES系统的主要功能

万界星空科技

mes 万界星空科技mes 电池行业 电池mes 新能源电池

智算基石全栈加速,百度百舸 4.0 的技术探索和创新

Baidu AICLOUD

大模型训练 异构计算 大模型部署 GPU 集群

Dynamic Wallpaper 19中文版 苹果mac超精美的4K高清动态壁纸app

理理

西贝柳斯音乐记谱软件2023最新破解补丁-Avid Sibelius Ultimate 2023下载安装

理理

Beyond Compare 4 for Mac(好用的文件对比工具)

Mac相关知识分享

10 个最佳 Golang 库

王中阳Go

golang gorm 工具库

建议收藏!Claude 注册使用保姆级教程:稳定不封号

江湖十年

ChatGPT4 Claude

如何使用SQL CREATE TABLE创建一个表?

Chat2DB

数据库 sql 开源 AI

通产访谈 | 星融元副总裁胡波:功耗阻碍AI快速发展

Geek_2d6073

鼠标键盘共享工具ShareMouse for mac

Mac相关知识分享

TechSmith Snagit 2024 跨平台截图工具 中文直装版(Mac&win)

理理

图解Docker Compose 架构设计分析与全攻略:构建、扩展和管理你的容器(第一部分)

肖哥弹架构

Java Docker k8s

Mac电脑上的系统监控工具iStat Menus for Mac

Mac相关知识分享

数据飞轮赋能科学决策:火山引擎DataTester升级A/B大模型评测

字节跳动数据平台

数据驱动 大模型 A/B 测试

大众点评容器云平台:运营超一年,承载大部分业务_服务革新_小盖_InfoQ精选文章