报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

搭起 AI 和 DB 之间“桥梁”!阿里云开源新技术:将 AI 算法“一键部署”进数据库

  • 2023-12-21
    北京
  • 本文字数:1563 字

    阅读完需:约 5 分钟

大小:788.42K时长:04:29
搭起AI和DB之间“桥梁”!阿里云开源新技术:将AI算法“一键部署”进数据库

12 月 20 日,数据库国际顶会 VLDB2024 公布新一批论文,阿里云旨在实现将 AI 算法在数据库“一键部署”的 PilotScope 中间件相关论文成功入围。同日,阿里云宣布将 PilotScope 全部技术免费开源。

 

开源地址:https://github.com/alibaba/pilotscope

在 AI 和 DB 之间“搭桥”

 

AI 和数据库的结合在业内已经探索了很长一段时间,其中 AI for DB 是利用 AI 技术替换数据库里的某些功能,使其性能得到提升。

 

这个方案需要依赖深度学习或者说大模型。但难点在于,AI 开发和数据库开发基本是两拨人,数据库特别复杂,AI 开发人员很难梳理清楚其中的结构,得到嵌入效果的同时还要保证数据库的稳定性。同时,AI 方法非常多样,数据库底层架构也不尽相同,这导致嵌入的模式、交互需求、具体底层实现方式都各不相同,如果做定制化就会带来很大的时间成本,不利于大规模应用。

 

“AI 做了很多,DB 做了很多,但中间的桥梁没有人干,这个桥是不通的。我们现在做的事情就是要把这个桥搭建起来。”PilotScope 项目负责人朱鎔说道。



根据朱鎔的介绍,PilotScope 屏蔽不同数据库异构的细节,提供了抽象的、可对 AI 调用的一整套接口。PilotScope 把数据库交互需求及嵌入过程,抽象成了一个个的接口,将最难的底层细节开发部分屏蔽掉,用户可以直接使用,AI 工程师不用关注数据库的细节。

 

理论上,用户只要支持这个接口,同一个 AI 方法可以支持各种数据库,包括阿里云、微软、AWS 以及 PostgreSQL 等数据库,开发者可以用一个方法、写一次代码就支持所有类型数据库在上面的运行。接口还可以不断扩展,支持不同 AI 方法的需求,同时通过开源的方式来增加支持 AI 算法的多样性。

 

另外,PilotScope 对 AI 算法的嵌入做了最小的扰动和侵入,不对系统的稳定性造成影响。用户不开启 PilotScope 时可以直接忽略它的存在,而使用 PilotScope 并把某些 AI 算法进行了相应运行后,PilotScope 的检测机制会处理和限定模型的异常输出,对于不正常的结果会直接打断,让数据用原来的模块运行。



 据了解,当前 PilotScope 针对参数调优、索引推荐、基数估计、查询优化等数据库主流任务,预置了 10 多种 AI 算法,并完成 PostgreSQL 和 Spark 等两大主流开源数据库的适配打样。根据团队的实验数据,使用 PilotScope 将 AI 算法嵌入数据库,较传统“硬植入”方法,查询优化等任务提速 1-2 倍不等,并且 PilotScope 本身对部署产生的额外代价基本可忽略。

十多人,用了两年做研发

 

PilotScope 项目是一个深度交叉的领域:要有懂算法的研发人员明确算法具体需求,也要有懂系统的研发将需求真正抽象成系统化设计;除了要有懂 AI 的人,还要有懂数据库的人,了解数据库架构、嵌入模式、与数据库的交互等;在系统设计的人员抽象出系统模式后,还需要开发人员用实际的代码把构思实现出来;AI for DB 是学界想做的算法探索研究,业界想做一些实际落地,两者的综合平衡对满足开源社区是比较重要的。

 

从上可以看出,这样的研发难度是不小的。朱鎔表示,从有做 PilotScope 的想法开始到今天正式搞出来,十几个人的团队差不多用了两年时间才基本完成。

 

做 PilotScope 的想法来源于阿里云团队在做 AI for DB 中遇到了测试、部署、落地等各种痛点问题。2021 年夏季之前,团队是点对点地解决,然后发现通用性差、成本高,很难持续下去。之后,团队开始构思这样的一个中间件,在与业务部门沟通、研究了学界最新进展后,才将最终需求确认下来,包括要支持哪些主流方法、支持到什么程度等。

 

整个 2022 年,团队一直在解决“两端解耦、让桥顺畅”的难题,到了 9 月份左右才开始做真正的系统研发。考虑到两个数据库的适配,团队要做很多细小的修改、打磨、迭代,陆陆续续到今年八九月份才算基本成熟。

 

据悉,PilotScope 目前已在阿里云内部展开试点应用。朱鎔表示,未来将做一些产业化部署,希望通过这个工具,把 AI for DB 的算法真正大规模的地应用到数据库系统里,提升数据库系统的效率和效果。

2023-12-21 11:1610097

评论

发布
暂无评论
发现更多内容

“离谱的AI扩图”火了!张张那叫一个出其不意

Openlab_cosmoplat

Java简介超详细整理,适合新手入门

是月月啊2023

Java java基础

基于Browscap对浏览器工具类优化

不在线第一只蜗牛

浏览器 软件开发 可视化工具

大模型数据集:揭秘AI背后的魔法世界

数据堂

分布式基础概念-分布式高可用

派大星

分布式 Java 面试题

颠覆你的绘图方式!这8款泳道图工具你用过几款

职场工具箱

泳道图 工具推荐

inBuilder低代码平台新特性推荐-第十五期

inBuilder低代码平台

低代码

用户案例|Milvus 助力 Credal.AI 实现 GenAI 安全与可控

Zilliz

Milvus Zilliz AIGC credal

问鼎2023边缘云计算,天翼云边缘安全加速平台AccessOne助力企业安全高速发展

极客天地

SpringBoot 实现动态切换数据源,这样做才更优雅!

是月月啊2023

MySQL 多数据源配置

淘宝商品评论的可靠性如何保证?

技术冰糖葫芦

API 接口

泳道图绘制指南!快速掌握流程,轻松规划

职场工具箱

泳道图 高效绘制

利用SEO策略提升网站排名和流量

九凌网络

Google排名高的是什么样的页面?

九凌网络

每日一题:LeetCode-105. 从前序与中序遍历序列构造二叉树

Geek_4z9ami

面试 算法 LeetCode 二叉树 Golag

代币开发:加密货币开发与IDO预售相关指南

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

编译器上手指南,算子开发及开源项目指导手册,直播课程报名通道限时开启!

MegEngineBot

深度学习 开源 编译器 实习

Google 发布史上最强大模型 Gemini!GPT-4 被全面超越?

极狐GitLab

人工智能 AI Google openai gemini

Spring基础,你学会了吗

是月月啊2023

Spring 配置解析

国内零代码链接器有哪些?

RestCloud

零代码 APPlink

大模型数据集:力量的源泉,进步的阶梯

数据堂

企业IT外包的四种类型

Ogcloud

外包 IT 外包公司 外包项目 IT 运维

实战!Redis分布式锁的7种实现方式

是月月啊2023

redis分布式锁

外贸网站关键词布局:提升外贸网站关键词排名的策略

九凌网络

大模型数据集:探索新维度,引领AI变革

数据堂

搭起AI和DB之间“桥梁”!阿里云开源新技术:将AI算法“一键部署”进数据库_大数据_褚杏娟_InfoQ精选文章