AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

LinkedIn 图数据库 LIquid:为 9.3 亿会员提供实时数据访问

作者:Eran Stiller

  • 2023-07-07
    北京
  • 本文字数:1014 字

    阅读完需:约 3 分钟

LinkedIn图数据库LIquid:为9.3亿会员提供实时数据访问

最近,LinkedIn 分享了其图数据库LIquid是如何自动索引和实时访问会员、学校、技能、公司、职位、工作、事件等之间的关系数据的。这个知识图谱被称为 LinkedIn 的“Economic Graph”,有 2700 亿条边,并且还在不断增长,目前每秒处理 200 万次查询。


LinkedIn 将其“你可能认识的人(People You May Know,PYMK)”推荐系统从传统的 GAIA 系统迁移到了 LIquid。这一变化显著改善了每秒查询数(QPS)、延迟和 CPU 利用率。QPS 从 120 增加到 18000,延迟从超过 15 秒下降到平均 50 毫秒以下,CPU 利用率下降了 3 倍以上。LIquid 还引入了新的数据库索引技术,支持实时数据查询,实现了即时推荐。



图片来源:https://engineering.linkedin.com/blog/2023/how-liquid-connects-everything-so-our-members-can-do-anything


上图是系统的架构图,使用了 LIquid,可以以较小的延迟和可接受的硬件成本来执行图查询。通过 LIquid 对Economic Graph的查询生成数百个候选对象,并应用第二个排名函数。这个排名函数使用Venice的机器学习功能和Apache Pinot的分析见解来评分并选择最佳候选对象。过滤步骤为呈现和最终评分准备好了这个排名列表。


LIquid 的设计使其能够伸缩到当前十倍的规模,可以支持 LinkedIn 9.3 亿多会员的有机增长和新的语义领域。它提供 99.99%的可用性,并可以自动根据图的大小和活动量的增加进行自动伸缩。


图数据库使用基于Datalog的可组合声明式查询语言,帮助开发人员高效地访问和使用数据。可组合语言能够让开发人员在现有的特性(叫作模块)上进行构建,声明式语言能够让开发人员专注于表达他们想要开发的东西,而 LIquid 自动化了高效的访问过程。开发人员因此可以快速变更数据集,大大减少了调整和更新数据库所需的时间。


LinkedIn 工程总监Bogdan Artintescu描述了 LIquid 的发展路线图:


要让会员能够做更多的事情,我们需要在回答会员的问题方面提供更加完善的能力。我们可以沿着两个方向做出改进。首先,复杂的查询和添加到 Economic Graph 的数据源的多样性将会驱动新特性的开发和呈现。其次,丰富数据将提高推理能力。这可以通过创建派生数据(通过确定性算法或概率机器学习方法)或通过知识图谱(KG)模式中更丰富的语义改进推理来实现。我们计划专注于高性能图形计算和分析,并建立一个 KG 生态系统,让我们的开发人员能够进一步增强会员体验。


LIquid 的成功激励了 LinkedIn 的其他团队和微软的姐妹团队将它作为图数据索引。


原文链接

https://www.infoq.com/news/2023/06/linkedin-liquid-graph-database/

2023-07-07 14:574177

评论

发布
暂无评论
发现更多内容

AppsFlyer 发布最新游戏 App 营销现状报告:中国游戏出海市场正在重拾增长,混合变现引领新潮流

财见

AI 应用实战营 - 作业 九 - 图像流

德拉古蒂洛维奇

基于Java+SpringBoot+Vue前后端分离公交线路查询系统设计和实现

hunter_coder

后端开发

AI视界周刊第2期:Llama 3.1 开源、AI 训 AI,越训越傻、AI 搜索重燃战火

战场小包

人工智能 AI 资讯

定制化即时通讯企业级移动门户解决方案,WorkPlus IM系统让工作事半功倍

BeeWorks

TVL 破 3 亿美元的 Pencils Protocol,缘何持续盈利?

石头财经

【推荐】Singbox全局代理配置文件节点购买与订阅指南

极客天地

TVL 破 3 亿美元的 Pencils Protocol,缘何持续盈利?

股市老人

基于Java+SpringBoot+vue前后端分离华强北商城二手手机管理系统设计实现

hunter_coder

后端开发

WorkPlus:每个企业都需要一个安全、自主、可控的移动平台

BeeWorks

基于Java+SpringBoot+Vue前后端分离公寓报修管理系统设计和实现

hunter_coder

后端开发

基于Java+SpringBoot+vue前后端分离共享汽车管理系统设计实现

hunter_coder

后端开发

基于Java+SpringBoot+vue前后端分离欢迪迈手机商城设计实现

hunter_coder

后端开发

基于Java+SpringBoot+Vue前后端分离火车票订票系统设计和实现

hunter_coder

后端开发

TVL 破 3 亿美元的 Pencils Protocol,正在持续盈利!

加密眼界

TVL 破 3 亿美元的 Pencils Protocol,正在持续盈利!

BlockChain先知

Clash猫和SingBOX的节点购买与订阅指南

极客天地

基于Java+SpringBoot+Vue前后端分离华府便利店信息管理系统设计和实现

hunter_coder

后端开发

基于Java+SpringBoot+Vue前后端分离婚纱影楼管理系统设计和实现

hunter_coder

后端开发

商品详情描述:API返回值中的详细信息字段

技术冰糖葫芦

API 文档 API 测试 API 优先 API Hub

私有化部署即时通讯是什么,全文解读

BeeWorks

基于Java+SpringBoot+vue前后端分离古典舞在线交流平台设计实现

hunter_coder

后端开发

LinkedIn图数据库LIquid:为9.3亿会员提供实时数据访问_数据库_InfoQ精选文章