免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

腾讯大手笔开源整个容器平台,20 年技术积累首公开

  • 2019-11-06
  • 本文字数:3115 字

    阅读完需:约 10 分钟

腾讯大手笔开源整个容器平台,20年技术积累首公开

刚刚,在腾讯2019Techo开发者大会的现场,腾讯对一众开源项目进行了联合发布,并首次公开 20 年技术积累,指出未来云计算领域的三大技术趋势。


大手笔开源:容器平台 TKE、数据库 TBase 等

截至目前,腾讯共开源了 86 个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 获得了超过 25 万个 Star。同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金赞助商。


腾讯开源联盟主席堵俊平首先介绍了 TubeMQ 项目。TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式消息中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。本周,TubeMQ 正式被 Apache 基金会接受为正式 Incubator 项目,开始孵化之旅。(TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ


第二个项目是腾讯 Kona JDK。腾讯 Kona JDK 在主流 OpenJDK8 的基础上,进行了针对性的开发和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的使用共享核心类信息来提高启动速度。在云场景下,JVM 的启动速度最高能够提升到 40%左右。


为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户获得从系统到应用的 profiling 信息,增强运行时诊断以及热点分析,指导优化。目前, 腾讯 Kona JDK 已经在腾讯上万台服务结点大规模部署,服务云上 Java 场景。目前,该项目已经正式开源, 腾讯将对 Kona 进行长期维护,包括季度性的版本更新,以保证 Kona 用户的 Java 应用的稳定与安全。(Kona JDK 的地址在这里:https://github.com/Tencent/TencentKona-8


然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开发的分布式 HTAP 数据库。TBase 在兼容 SQL 标准,提供完整的分布式事务能力的同时,保证了金融级数据容灾。在数据安全、分布式执行器优化以及读写分离等方面做了很多工作。目前,该项目已经在腾讯内部大规模采用,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模突破 1000,单日请求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。(TBase 项目的开源地址在这里:http://github.com/Tencent/TBase


最后是企业级容器平台 TKEStack。腾讯从 2009 年开始开发自己的容器编排平台,到 2013 年已经在内部维护了上万台服务器,支撑腾讯很多业务的平稳运行。当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户提供服务。这些经验和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。(TKEStack 项目的开源地址在这里:https://github.com/tkestack


据介绍,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并提供全方位资源管控,解决网络带宽控制、磁盘 IO 等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技术,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。

未来云计算三大趋势

腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开发者通过代码共享成果最好的方式,通过腾讯这么多年服务开发者的经验,腾讯看到的未来云计算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。


邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。


同时,无服务器计算,即 Serverless 正在快速演进。Serverless 把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过 50 万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想。未来,Serverless 理念也会在更多开发场景中落地。


随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。

腾讯 20 年技术积累

作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据 AI 领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到 20 万台,日分析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时计算次数达到 30 万亿,模型训练维度为 1 万亿。腾讯云副总裁、云架构平台部总经理谢明表示:


无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的 T-block 产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ 等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。


以星星海服务器来说,在设计过程中,结合了数据中心实际部署环境要求,针对云端的计算、存储,网络等场景做了重点优化,能够有效满足腾讯云 98%应用场景需求。同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云服务实例综合性能提升 35%以上,最大负载能效对比业界可提高 50%。


在数据中心方面,第四代数据中心 T-block 让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block 可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有 30 万台服务器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中心的理念。


除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:


经过 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据计算量超过 30 万亿条,腾讯已经成为中国实时数据计算量最大的公司。


十年,从以 Hadoop 为核心的离线计算时代到以 Spark、Storm、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开发平台智能钛 TI。目前,腾讯正在研究以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台,该平台将具备混合部署、跨域数据共享和边缘计算等能力。


在过往的开源项目中,大数据领域同样占据着重要地位。从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。此次在 Techo 大会现场,再次重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。


如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金赞助商,并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极参与开源社区生态建设。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。


2019-11-06 12:5524544
用户头像
赵钰莹 InfoQ 主编

发布了 882 篇内容, 共 638.9 次阅读, 收获喜欢 2679 次。

关注

评论 16 条评论

发布
用户头像
厉害,国内大厂都在大力开源自己技术
2019-11-20 08:59
回复
用户头像
看了那个openJDK,只能说是凑凑热闹了。不应该另立门户搞,应该尽量参与到开源社区当中,同时互相接纳开源开发者贡献代码。麻烦腾讯员工把代码提交到此处: https://hg.openjdk.java.net/jdk/jdk
2019-11-13 01:57
回复
2019-11-25 13:24
回复
用户头像
别凑热闹了,跟阿里没得比
2019-11-12 09:21
回复
用户头像
没有源代码地址都不叫开源,国内厂商的浮躁不应该影响infoq的文章质量水平
2019-11-07 22:17
回复
TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ
Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8 
TKEStack项目的开源地址在这里:https://github.com/tkestack
TBase项目的开源地址在这里:http://github.com/Tencent/TBase
2019-11-08 10:07
回复
tx开源的几个项目文档都做的很糟糕,以前用过tars,也做过微信支付的对接。只能说文档质量没有阿里高,这几个项目还没看,先不做评论
2019-11-22 19:15
回复
用户头像
我个人认为没有源代码开源的地址都不叫开源,不应该大肆宣传,国内的浮躁
2019-11-07 22:16
回复
用户头像
 Kona JDK的地址在这里:https://github.com/Tencent/TencentKona-8
TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ
2019-11-07 13:23
回复
用户头像
建议对开源项目有兴趣的,关注下腾讯的官方开源地址:https://opensource.tencent.com  所有腾讯的开源项目都会出现这里
2019-11-07 08:30
回复
开源的这几款产品什么时候能看到
2019-11-07 09:54
回复
已经询问腾讯方面具体的开源地址、开放源代码的时间,有消息第一时间回复各位,感谢各位关注
2019-11-07 11:21
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019-11-06 23:09
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019-11-06 22:05
回复
用户头像
麻烦 Github 地址贴一下,谢谢。
2019-11-06 21:51
回复
2019-11-25 13:26
回复
没有更多了
发现更多内容

windows10 CUDA环境搭建

yuanhang

tensorfl

大数据应用场景

朱月俊

week13 小结

Geek_196d0f

公有云常用数据分析指标

leis

极客时间训练营 13 周作业 2

潜默闻雨

架构师训练营第十三周作业

子豪sirius

week13 作业

Geek_196d0f

架构师训练营——第13周作业

jiangnanage

大数据思考

朱月俊

Week13 总结

leis

第13周数据分析

陆不得

架构师训练营第13周作业

Just顾

实战|如何消除又臭又长的if...else判断更优雅的编程?

简爱W

Java java架构师

极客大学架构师训练营 0 期 week 13 作业

chun1123

数据分析 PageRank

手握阿里P8亲传Redis和MongoDB利器,怕什么面试官

小Q

Java 数据库 redis mongodb 面试

架构师训练营-week13-学习总结

晓-Michelle

极客大学架构师训练营

Spring 5 中文解析核心篇-集成测试之TestContext(中)

青年IT男

Spring5 JUnit

oeasy 教您玩转linux 之 010209 装酷利器 hollywood

o

Week13-作业

龙7

第十三次课

极客大学架构师训练营 0 期 week 13 学习笔记

chun1123

大数据 学习

PageRank 算法

极客李

Google 搜索引擎之PageRank 算法

莫莫大人

极客大学架构师训练营

架构师训练营——第13周学习总结

jiangnanage

达达双云双活实践

Epsilla

容器 微服务 openresty 多云架构 双活容灾

PageRank算法

技术小生

极客时间训练营13周作业1

潜默闻雨

Google搜索引擎是如何对搜索结果进行排序的?

任小龙

练习13-1

闷骚程序员

Week13-总结

龙7

数据挖掘和机器学习

李小匪

腾讯大手笔开源整个容器平台,20年技术积累首公开_云原生_赵钰莹_InfoQ精选文章