速来报名!AICon北京站鸿蒙专场~ 了解详情
写点什么

畅谈数据库,云原生、分布式和开源

  • 2021-10-15
  • 本文字数:4337 字

    阅读完需:约 14 分钟

畅谈数据库,云原生、分布式和开源

行业底层技术焕发生机总是令人感到惊喜和可贵。数据库作为基础软件的主要组成部分,在行业内的话题度也在一路走高,如今已是最火的一个板块。云原生、分布式、开源,如今谈数据库离不开这些关联词。10 月 14 日,一档专为数据库行业制作的《数据 Cool 谈》栏目,邀请华东师范大学副校长、资深数据库学者周傲英、PingCap 联合创始人兼 CTO 黄东旭、阿里云数据库产品事业部负责人李飞飞、InfoQ 主编王一鹏畅谈数据库。

上层万物互联,底层万机互联

为什么数据库这么火?迎着时代的风,2020 年 4 月,数据被正式列为与土地、劳动力、资本和技术并列的“第五要素”,重要性凸显。在资深数据库学者周傲英看来,数据的事情如今是社会层面的事情。在互联网行业快速发展的大背景下,数据量大爆发,而 IT 行业的发展目的是解决复杂问题,数据管理方式的改变自然而然。


一个明显的变化是,互联网时代的数据库管理方式与 C 端或者说使用端用户密切相关,不只作为基础软件,还开始作为应用软件进行数据管理。“在计算机核心的研究学科方向里面,数据库是最靠近应用的。”周傲英谈道。应用的变化和基础设施的变化,推动身处其中的数据库发生本质上的改变。从传统的企业级应用变成互联网应用和万物互联的应用,应用在发生巨大的改变。底层架构方面,早先是冯·诺依曼架构,步入云计算时代后,计算资源池化,形成“上层万物互联,底层万机(服务器)互联。”传统数据库技术无法解决的问题,交给新的数据库技术来解决。


想要实现底层基础设施池化后,再进行资源解耦,需要先解决很多问题,比如如何面向应用变化?如何面向基础设施变化?如何应对计算存储网络的变化?云原生应运而生。“以前我觉得做技术的要引领这个时代,后来才感觉到行业时代巨大的时代推动力。”李飞飞感慨。“技术走在需求之前”是业内广为流传的一个说法,但是现在的技术思路是“螺旋式”,既有需求推动技术的一面,也有因为相信所以看见的事情。


系统的复杂性是如今数据库行业面临的最大问题。黄东旭认为,摩尔定律已经失效,不会再有单机系统搞定一切的情况,上百台的服务器是无法进行管理的,所以数据库将迎来两大发展趋势:

  • 智能化,搞定复杂系统单打独斗是不行的,AI for DB 是一个现在很新但非常必要的方向

  • 不会再像原来 Oracle 一样,只一个数据库一统江湖。行业会出现很多不同的数据引擎应对不同的场景,会出现一种新的数据平台,虽然未来不会有 one size fit all,但可以做到用户体验统一


“未来有一个统一的平台,屏蔽掉底下引擎的复杂性和在引擎之间切换。”李飞飞补充道:“周老师当年讲的一句话对我触动非常深,说让数据无缝地自由流转起来,我觉得这是非常有先见之明的一句话,这一定是未来一个很重要的趋势。”在他看来,数据库系统想要做好,管理好复杂的系统资源,需要“顶天立地”——向上面向应用,向下管理资源。李飞飞认为,数据库是整个基础软件领域上浮过程中的必经之路,也可以称为华容道,和上层应用发生交互必须要通过数据。

正交的云原生和分布式

云原生和分布式是未来的必然选择吗?

“对,我觉得这个是一定会发生的一个事情。”李飞飞斩钉截铁地说,“我们很多的客户、用户的 IDC 的环境里面,基础设施这一层已经是一个云化的部署方式了。操作系统体系结构向上发展过程中,数据库系统是必经之路,底层的基础设施云化以后,对于上层的数据库系统带来的挑战和机遇,就是怎么样更好地去将底层的资源池化、资源解耦优势发挥出来,给用户带来这种高可用、可拓展性、弹性的便利。我觉得对所有的用户、所有的应用场景来讲,这都是一个必然去选择的一条道路。”


黄东旭也深表赞同,业内有一个常见误区:对于辨明主备两台机器属于单机数据库还是分布式数据库抱有疑问。“其实有很多时候,我们在讨论一个事情的定义是特别重要的。”黄东旭举了一个例子,分布式是用来解决大数据的问题的吗?其实很多分布式技术是用来解决类似 self-healing 或者说高可用的问题。未来的系统会变得越来越复杂,手动拉起挂掉的系统是不可规模化的,所以分布式技术会在各种场景中节省人的精力,避免出错。


的确,数据库螺旋式上升发展到新阶段的同时,云也在深化发展。云服务是什么类型的服务?周傲英认为,云服务是处理数据的服务。分布式数据库从系统到应用,都是分布的,他提到,分布式是对数据库的扩展,云原生和分布式是正交的,有强相关性。“我觉得云的很多技术,底层也是在依靠分布式系统的。”黄东旭认同道。

云原生和分布式是不是对立的?

李飞飞认为不是,他认同周傲英提到的两者关系是交叉的,但觉得云原生和分布式如今已经融为一体。如果底层基础设施全部云化,人们思考技术问题的角度自然变成“云原生”角度。“今天很多人觉得云原生数据库不就是这样吗?其实不是,真正的云原生需要你彻底理解底层池化和资源解耦以后,重新设计系统。在这个基础上,分布式不是一件必然的事情吗?”李飞飞谈道,“谁能够把云原生和分布式技术结合得更加完美,从系统设计的角度,从应用使用的角度,我觉得谁就会在未来的市场竞争和产品竞争中占得先机。如果大家今天还是把云原生、分布式对立起来看,我觉得是有问题的。”


细数历史,云原生数据库也并不是一个新鲜的概念。当我们回过头来看,李飞飞认为,Oracle RAC 就是云原生数据库,只不过是在当年的硬件资源环境下只能做小范围的池化。Oracle RAC 是 Oracle 公司针对数据库高可用提出的解决方案,通过对集群内部服务区存储的统一管理,实现集群内部数据库的高可用,进而对外实现提高系统性能、可扩展和降低成本等服务。


“我觉得 Oracle 的人真的还是很厉害的,他们当年不光做了池化,它甚至在 Oracle RAC 上还要去做多读多写,今天我们云原生数据库可能还没有一个真正能够去完美支持多读多写的。Oracle 做了,还是在存储层做的,但是它这个读写路径太长。”李飞飞感慨:“我认为 Oracle 的多读多写做的是失败的,今天旗帜鲜明说出来。AWS 的 Aurora 在存储层‘log is the database’。写进去后,通过‘log is the database’进行重做,这样就导致多读多写写入的链条特别长,latency overhead 承受不了。我个人认为这是失败的一条路。”他认为,在云原生上取得成功,一定将内存池化,这也是阿里 PolarDB 为什么要做内存池化的原因。

开源的现实与理想

开源是必选项吗?和商业化是否相悖?

对于第一个问题,黄东旭的答案是“是”,TiDB 就是最好的证明。在他看来,数据库之类的基础软件核心竞争力就在于迭代和进化,随着需求越来越敏捷,一招鲜吃遍天已经过时了。“我一直相信没有完美的软件,也没有完美的程序员。”黄东旭提到,想要写出来完全没有问题的东西是不现实的,开源能够让足够多的人、足够多的眼睛参与到项目中,帮助项目更早暴露问题、解决问题。“相当于不是一个人在弄,是整个社区和生态,相当于是撬动了整个社区的力量。”


另一方面,数据库作为通用基础软件,行业属性偏弱,天然具备开源的基础。作为重要的行业基础设施,开源是很好的“降低成本、广纳客源”的一种方式。在黄东旭看来,为了避免像过去一样“为爱发电”,云可以帮助产品交付标准化、可规模化,完美解决了开源软件商业化的问题。他感叹:“这就是为什么我觉得这个年代是做基础软件的好时代,也是做开源软件的好时代。”


在李飞飞看来,开源如今成为数据库的必选项是“人为”:一群非常出色的人将开源作为技术演进路线上的必选项,触发了整个行业环境发生“物种大爆发”一样的变化,适者生存之下,开源从数据库的非必然选项变成了必然选项。从自身云厂商的角度出发,李飞飞毫不讳言开源为阿里云带来了很多好处,其中之一是“加快了物种进化的速度”,让越来越多的人开始使用阿里云的系统。


当然,开源和商业化中存在矛盾点,但李飞飞认为二者同时也在互相解耦,关键在于企业如何处理。开源成功未必有很好的商业化结果,但是如果商业化结果很成功,也未必一定要开源。“对我们云厂商来讲,最重要的也是生态,也是开发者,也是用户,是不是能够用足够低的门槛来使用我们的产品和系统,这个永远是我们的第一思考。”李飞飞提到,如今开源的核心是要把生态建立起来,把握好开源和商业化之间的锚点。厂商开源一部分核心能力,和大家一起建立好的开源社区,加快演进、迭代速度。


“商业化的成功是技术进步的前提”这一观点在现场达成了共识。周傲英也表示,“开源跟商业本身不是一回事,只有企业才能把开源得有商业价值。我们要重新定义知识产权,要重新来审视我们对知识产权的理解,只有企业在实践中才能知道。”在他看来,开源是创造性生产方式的改变,有非常重要的社会价值,甚至是哲学价值。从 Hadoop 到 Ingress、MySQL 和 PostgreSQL,细数数据库开源发展历程,周傲英强调:“开源就是一种自发的行为,开源就是开放,开放才能创新,开放才能很好地迭代。开源做数据库的目的是什么,让每个人都来参与数据库的开发。”

构建更好的开源生态

行业有关注度是好事,但凡事过犹不及。行业热度下,一些问题也逐渐暴露出来。在黄东旭看来,目前开源产业有三大问题:

  • 开源概念热度过火,开始出现一些泡沫,行业过热会导致不认可行业逻辑、不真正了解开源软件的人参与进来。

  • 开源软件找不到核心竞争力。不少开源公司和开源项目的掌舵者,虽然运营着很好的项目和社区生态,但是对商业和项目的未来思考深度不够,而行业也缺少有深入思考和认知的人才。

  • 在开源生态下,行业对软件工程和软件工程的复杂性、易用性的思考,可能是全新的跨学科课题。


但是他仍然乐观:“这个领域很有希望,最怕死水一潭,没人关注,我觉得反而是有困难就意味着这个有希望。”


李飞飞也表达了自己的担忧:部分开源厂商的开源并非原汁原味的开源,开源社区也不一定是真正的开源社区,不仅仅是技术问题或者商业问题,非常复杂。“他们是不是在真正尊重这个知识产权或者是这个项目的原作者的知识产权。其实我觉得不见得所有人都是有共识的。”黄东旭补充道。


当被问及理想中的开源生态是什么样的?黄东旭认为,企业是建设理想开源生态的发动机,做开源生态不能想着为了赚钱,构建生态是需要花钱的,真正好的生态要构建在共识和标准之上。


李飞飞总结道:“理想的开源生态我觉得是一个从教育产业到 non-profit,大家都能够去参与到其中去的。我觉得拿英文来说就是 Stakeholders,至少是所有主要的 Stakeholders 能够在一个有序的良性的生态里面去共生共存,我觉得这是我想到的未来的一个趋势,今天我觉得我们在往这个方向演进,这条路上还是任重道远的,还有非常长的一段路要走。”


风物长宜放眼量,期待理想的开源生态实现的那一天。


观看第一期《数据 Cool 谈》,请戳https://www.infoq.cn/video/wg7VNmeKXjS4PzMgDwRS?utm_source=home_video&utm_medium=video

《数据 Cool 谈》第二期紧密制作中,敬请关注“InfoQ 视频号”。

2021-10-15 19:405312

评论 2 条评论

发布
用户头像
给个链接啊

数据 cool 谈

2021-10-26 09:36
回复
没有更多了
发现更多内容

Fig Player - play mp4 mkv mp3 苹果电脑媒体播放器

南屿

mac视频播放器 苹果软件下载 Fig Player破解下载 Fig Player Mac版

One Switch mac版 菜单栏一键控制神器 支持M/Intel

南屿

mac效率工具 One Switch for Mac 菜单栏一键开关控制神器 One Switch破解

深入理解TF-IDF、BM25算法与BM25变种:揭秘信息检索的核心原理与应用

汀丶人工智能

nlp 搜索系统 BM25算法 关键词检索

3D建模设计 Vectorworks 2022 SP5激活版 for Mac 下载安装教程

南屿

3D建模软件 Vectorworks 2022下载 破解软件 Vectorworks 2022注册码

Emby for Mac:多媒体影音库管理工具 兼容M1

南屿

苹果软件下载 Mac破解软件 Emby for Mac 多媒体影音库管理工具

【最新中文版激活序列号】Macs Fan Control Pro 苹果电脑掌控风扇必备软件

南屿

Macs Fan Control Pro下载 Macs Fan Control Pro破解 Mac 电脑风扇速度

【http服务】使用命令来查看和停止端口教程。

百度搜索:蓝易云

Linux 运维 云服务器 ECS

超自动化助力企业财务转型升级

智达方通

超自动化 企业财务转型

Parallels Desktop 18 for Mac v18.3.2永久激活版下载

iMac小白

StarRocks Awards 2023 年度贡献人物

StarRocks

数据库 数据分析 开源社区 StarRocks

DNA序列分析软件 SnapGene 5 v5.3.1中文激活版 下载安装

南屿

SnapGene 5破解版 SnapGene 5下载 分子生物学软件 DNA序列

有关SCADA系统的所有信息:什么是SCADA?

2D3D前端可视化开发

物联网 组态软件 工业自动化 SCADA HMI

行云部署成长之路--慢SQL优化之旅 | 京东云技术团队

京东科技开发者

苹果Mac自用软件推荐:Unite for mac 将网站转化为应用程序 支持M1/M2/Intel

南屿

Unite for Mac Unite破解版 将网站转化为应用程序 Mac软件资源站

软件开发

Geek_8da502

实践案例:通过API优化加快上市时间

幂简集成

产品 MVP API OpenAPI REST API

Premiere Pro 2022 for Mac v22.6.2中文激活版下载

iMac小白

每日一题:LeetCode-10037. 移除后集合的最多元素数

Geek_4z9ami

Go 面试 算法 LeetCode 贪心算法

苹果电脑YouTube客户端下载:YouTube for mac激活版v1.22(56)中文版安装教程

南屿

YouTube客户端 苹果mac软件 Clicker for YouTube

Linux常用命令—findfs命令

百度搜索:蓝易云

云计算 Linux 云服务器 uuid findfs

Parallels Desktop 19 for Mac 一键激活版(PD19虚拟机)

iMac小白

Axure RP 8 中文激活授权码 Axure RP 8 完整安装教程 Mac/win

南屿

原型设计 Axure RP 8授权码 Axure RP 8下载 Axure RP 8汉化包

软件测试开发/全日制/测试管理丨软件测试流程

测试人

软件测试 测试开发

Java执行Python代码的两种方法(Jython与ProcessBuilder)

百度搜索:蓝易云

Java Python Linux Jython ProcessBuilder

F5:伴随生成式AI的发展,2024年将出现十大网络安全风险威胁

科技热闻

Rhinoceros 6 for Mac(犀牛6) 6.31.20315完美激活版

mac

苹果mac Windows软件 Rhinoceros 3D设计软件 犀牛

TikTok直播专线的优势及应用价值

Ogcloud

直播 直播优化 TikTok

如何用 Python 实现一个 “系统声音” 的实时律动挂件

北桥苏

Python pyaudio 系统声音

轻松完成图片转换矢量图,推荐Vector Magic for Mac破解版

南屿

mac软件下载 Vector Magic破解版 矢量图片转换工具

左耳听风-我的三观「读书打卡 day 01」

Java 工程师蔡姬

程序员 读书 读书感悟 左耳朵耗子

快麦ERP退货借助APPlink快速同步CRM

RestCloud

零代码 CRM ERP APPlink

畅谈数据库,云原生、分布式和开源_数据库_张俊宝_InfoQ精选文章