写点什么

4 篇论文入选数据库顶会,腾讯云数据库再迎新突破

  • 2024-08-30
    北京
  • 本文字数:1304 字

    阅读完需:约 4 分钟

大小:658.80K时长:03:44
4篇论文入选数据库顶会,腾讯云数据库再迎新突破

日前,InfoQ 获悉,腾讯云数据库 4 篇论文入选国际数据库顶级会议 VLDB,多项优化创新方案突破了数据库领域的性能瓶颈数等多项难题,技术创新能力再获国际权威认可。

 

VLDB(International Conference on Very Large Data Bases)是数据库研究领域历史悠久的国际会议,与 ICDE 和 SIGMOD 并称数据库三大顶级会议,每年为数据库领域提供大量高质量的研究论文和研究成果,具有重要的学术价值和行业引导意义。

 

近些年,随着新兴技术迅猛发展,各行各业产生的数据量呈爆炸式增长分布式、云原生等多种场景数据库应运而生。与此同时,分布式场景也迎来如何权衡性能与一致性等一系列新的挑战。

 

在入选论文——《TDSQL: Tencent Distributed Database System》中,腾讯云分享了设计、开发和优化大规模分布式数据库系统 TDSQL 的经验。在分布式架构上,TDSQL 通过大量的实现和优化,包括内核优化、物理复制的实现与优化、分布式锁的优化等,使得 TDSQL 能在保持一致性的情况下有效处理大量数据和高并发。在去年 3 月的 TPC-C 基准测试中,TDSQL 性能达到每分钟 8.14 亿笔交易(tpmC),打破了世界纪录。

 

在高性能的键值存储引擎中,高性能索引结构往往需要占用过量内存以换取极高的索引性能。针对这一热门研究课题,腾讯云与华中科技大学合作的最新研究成果《FluidKV: Seamlessly Bridging the Gap between Indexing Performance and Memory-Footprint on Ultra-Fast Storage》中提出了一种兼顾高读写性能和低内存占用的索引机制。


这种基于动态多阶段的索引架构 FluidKV,可将索引项从内存占用率高的阶段,快速迁移到内存友好的持久存储阶段,利用高性能存储设备的带宽减轻内存压力。在此基础上,通过匹配 IO 传输粒度,并根据用户负载读写比例优化缓冲等方式,可以让读写性能保持在最高档位。实验结果显示,对比持久索引的相关工作,FluidKV 的读写性能均处于最高一档,同时最多可减少 90%的内存占用。

 


  (腾讯云数据库团队现场分享论文)

 

此外,腾讯云与北京大学、北京交通大学合作的最新研究成果也入选了 2024 年 VLDB 长文,文章《Efficient and Accurate SimRank-based Similarity Joins: Experiments, Analysis, and Improvement》提出了高效且准确的 SimRank 图节点相似度连接算法,实验表明,该算法较已有方法实现了查询效率近一个数量级的提升。

 

随着 CPU、大内存、高速存储设备的发展,让 CPU 更多的用于实际的计算任务是高效利用这些新硬件的关键之一。但目前,整个数据库系统中,存在大量的等待事件,会导致 CPU“卡住”,即让 CPU 处于无效的等待状态,造成 CPU 资源的浪费。

 

在入选论文《The Art of Latency Hiding in Modern Database Engines》中,腾讯云则联合西蒙·弗雷泽大学,针对高性能的 OLTP 处理难题,提出了基于双队列的流水线事务处理机制,可以进一步减少 CPU 的无效等待,让 CPU 充分应用于实际的计算任务中。实验表明,在数据量大于内存、混合负载的场景下,该系统可取得 33 倍的性能提升。

 

作为国内数据库行业先行者,腾讯云已经深耕数据库领域十余年,服务超过 50 万客户,未来,腾讯云将持续深耕实际场景需求,不断探索与攻坚数据库难题,推动数据库领域的学术进步与技术成果转化,助力更多企业实现业务创新与高质量发展。


2024-08-30 10:049667
用户头像
李冬梅 加V:busulishang4668

发布了 983 篇内容, 共 588.3 次阅读, 收获喜欢 1143 次。

关注

评论

发布
暂无评论
发现更多内容

对于移动开发,人工智能的到来意味着什么?

故胤道长

人工智能 机器学习 ios开发 Android开发

Fluid 0.5 版本发布:开启数据集缓存在线弹性扩缩容之路

阿里巴巴云原生

容器 云原生 k8s 分布式数据库 调度

入选Gartner全球AI报告,阿里云解读AI工程化的三大基础能力

阿里云大数据AI技术

机器学习 AI Gartner

致远互联低代码平台让项目管理“秒变”数字化

爱极客侠

安卓最全面试考点与面试技巧,大厂直通车!

欢喜学安卓

android 程序员 面试 移动开发

【活动回顾】5G时代的直播,将带来哪些低延迟体验

ZEGO即构

启动延时缩短 50%-80%,函数计算发布镜像加速功能

阿里巴巴云原生

Docker 容器 开发者 云原生 存储

如何优化管理,打造高效的技术团队?

有只小耳朵

团队管理 技术管理 数字化转型

Cobar SQL审计的设计与实现

捉虫大师

Disruptor Skywalking cobar 数据库中间件

基于感染原理判断图的连通性算法

大奎

图算法 子图 连通性

【遇见Doris】基于Apache Doris的小米增长分析平台实践

ApacheDoris

力扣(LeetCode)刷题,简单题(第15期)

不脱发的程序猿

LeetCode 编程之路 28天写作 算法面经 3月日更

精选2021互联网大厂Java核心面试题库(金三银四面试必备)

比伯

Java 编程 架构 面试 程序人生

揭秘盒马鲜生,如何打破收益增长天花板!

博文视点Broadview

EGG公链强势来袭!去中心化社交革命先驱EFTalk

币圈那点事

数据库周刊62丨央企2021年数据库成交公告,国产占90%;流数据库HStreamDB开源;MySQL主从双写导致数据丢失;Oracle 19c升级最佳实践;PG日常工作分享;MySQL MGR运维指南;SQL语法手册……

墨天轮

MySQL 数据库 sql postgre

墨天轮精选:数据库问答集萃第一期-2021

墨天轮

MySQL 数据库 sql dba

Spark常见的故障排除

五分钟学大数据

大数据 spark 28天写作 3月日更

最全模型效果评估报告上线,百度EasyDL助力模型效果快速优化

百度大脑

飞桨 EasyDL

加入即可服务1.83亿个家!海尔智家让开发者面向亿万家庭

DT极客

力扣(LeetCode)刷题,简单题(第16期)

不脱发的程序猿

面试 LeetCode 28天写作 算法面经 3月日更

java好还是嵌入式好?做IT开发该如何选择

cdhqyj

Java 编程 发展 开发 嵌入式

【Doris Weekly】2020.03.08~2021.03.21

ApacheDoris

【Doris Weekly】

最全面试考点与面试技巧,面试必问

欢喜学安卓

android 程序员 面试 移动开发

【疑难杂症】关于Github私有库问题

Sher10ck

GitHub pycharm

数据产品经理实战-由BI到业务洞察

第519区

大数据 数据产品 数据分析体系

一套亿级用户的IM架构技术干货(下篇):可靠性、有序性、弱网优化等

JackJiang

智能家居操作系统谁最强?海尔智家独有“智家大脑”行业最领先

DT极客

终于有阿里高工把SpringBoot+SpringCloud+Docker+MQ整合在一起了

Java架构追梦

Java 架构 微服务 springboot SpringCloud

Flink架构体系

大数据技术指南

大数据 flink 28天写作 3月日更

问题排查 | 客户端突如其来的“白屏”等待

蚂蚁集团移动开发平台 mPaaS

html5 移动开发 mPaaS 离线包

4篇论文入选数据库顶会,腾讯云数据库再迎新突破_腾讯_李冬梅_InfoQ精选文章