刚刚,在腾讯2019Techo开发者大会的现场,腾讯对一众开源项目进行了联合发布,并首次公开 20 年技术积累,指出未来云计算领域的三大技术趋势。
大手笔开源:容器平台 TKE、数据库 TBase 等
截至目前,腾讯共开源了 86 个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 获得了超过 25 万个 Star。同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金赞助商。
腾讯开源联盟主席堵俊平首先介绍了 TubeMQ 项目。TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式消息中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。本周,TubeMQ 正式被 Apache 基金会接受为正式 Incubator 项目,开始孵化之旅。(TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ)
第二个项目是腾讯 Kona JDK。腾讯 Kona JDK 在主流 OpenJDK8 的基础上,进行了针对性的开发和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的使用共享核心类信息来提高启动速度。在云场景下,JVM 的启动速度最高能够提升到 40%左右。
为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户获得从系统到应用的 profiling 信息,增强运行时诊断以及热点分析,指导优化。目前, 腾讯 Kona JDK 已经在腾讯上万台服务结点大规模部署,服务云上 Java 场景。目前,该项目已经正式开源, 腾讯将对 Kona 进行长期维护,包括季度性的版本更新,以保证 Kona 用户的 Java 应用的稳定与安全。(Kona JDK 的地址在这里:https://github.com/Tencent/TencentKona-8)
然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开发的分布式 HTAP 数据库。TBase 在兼容 SQL 标准,提供完整的分布式事务能力的同时,保证了金融级数据容灾。在数据安全、分布式执行器优化以及读写分离等方面做了很多工作。目前,该项目已经在腾讯内部大规模采用,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模突破 1000,单日请求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。(TBase 项目的开源地址在这里:http://github.com/Tencent/TBase)
最后是企业级容器平台 TKEStack。腾讯从 2009 年开始开发自己的容器编排平台,到 2013 年已经在内部维护了上万台服务器,支撑腾讯很多业务的平稳运行。当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户提供服务。这些经验和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。(TKEStack 项目的开源地址在这里:https://github.com/tkestack)
据介绍,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并提供全方位资源管控,解决网络带宽控制、磁盘 IO 等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技术,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。
未来云计算三大趋势
腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开发者通过代码共享成果最好的方式,通过腾讯这么多年服务开发者的经验,腾讯看到的未来云计算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。
邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。
同时,无服务器计算,即 Serverless 正在快速演进。Serverless 把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过 50 万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想。未来,Serverless 理念也会在更多开发场景中落地。
随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。
腾讯 20 年技术积累
作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据 AI 领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到 20 万台,日分析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时计算次数达到 30 万亿,模型训练维度为 1 万亿。腾讯云副总裁、云架构平台部总经理谢明表示:
无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的 T-block 产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ 等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。
以星星海服务器来说,在设计过程中,结合了数据中心实际部署环境要求,针对云端的计算、存储,网络等场景做了重点优化,能够有效满足腾讯云 98%应用场景需求。同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云服务实例综合性能提升 35%以上,最大负载能效对比业界可提高 50%。
在数据中心方面,第四代数据中心 T-block 让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block 可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有 30 万台服务器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中心的理念。
除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:
经过 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据计算量超过 30 万亿条,腾讯已经成为中国实时数据计算量最大的公司。
十年,从以 Hadoop 为核心的离线计算时代到以 Spark、Storm、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开发平台智能钛 TI。目前,腾讯正在研究以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台,该平台将具备混合部署、跨域数据共享和边缘计算等能力。
在过往的开源项目中,大数据领域同样占据着重要地位。从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。此次在 Techo 大会现场,再次重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。
如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金赞助商,并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极参与开源社区生态建设。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。
评论 16 条评论