写点什么

一栈式 HTAP 数据库为 Web3 业务提供毫秒级多维查询 | 案例故事之 NFTScan x TiDB 

  • 2023-04-13
    北京
  • 本文字数:2216 字

    阅读完需:约 7 分钟

一栈式 HTAP 数据库为 Web3 业务提供毫秒级多维查询 | 案例故事之NFTScan x TiDB 

NFTScan 成立于 2021 年 4 月,是一个多链 NFT 数据基础设施服务商,截止到 2023 年 1 月份,NFTScan 已经支持了 11 条区块链网络,包括 Ethereum、Solana、BNBChain、Moonbeam、Polygon、Arbitrum、Optimism、Avalanche、Fantom、Cronos、PlatON 网络。

 

NFTScan 旗下有 2 个核心业务:NFTScan.COM 多链 NFT 数据浏览器平台和 NFTScan OpenAPI 开发者平台。NFTScan 主要为 Web3 用户提供高效简洁的 NFT 资产搜索查询服务,以及为 Web3 开发者和新一代金融科技公司提供专业的 NFT API 数据服务。



目前,NFTScan 数据库收录了 100 万+ 个 NFT 合约地址,7 亿多枚 NFT 资产数据,17 亿多链 NFT 链上交互记录。并且这个数字还在以每日  3000 个 NFT 合约地址和 200 万个 NFT 资产的速度在递增。从上述数据可以看出,NFTScan 有着增量大,活跃度高两大特点。这样的业务特点决定了 NFTScan 对数据库技术架构要求极高,需要具备全面、实时、高效等特性,并满足高并发、低延时等需求。选择一个合适的,能满足业务需求的数据存储体系对 NFTScan  来说至关重要。


以前的 MySQL 解决方案的挑战

 

此前,NFTScan 使用 Amazon Web Services (AWS) 上的 MySQL 和 Elasticsearch 作为其核心数据库解决方案。MySQL 存储了所有业务数据,包括来自 B 端和 C 端用户的用于分析和处理的数据。其中,NFT 的交易记录和资产记录是核心的业务数据模型,B 端和 C 端的查询也大部分是围绕这两类核心数据展开的。由于 NFT 数据每天都在持续增长,多维度查询会存在一些分布不均匀的现象,NFTScan 将 NFT 交易和资产相关数据以全索引方式同步到 Elasticsearch,以近乎全字段索引的方式响应多维度 NFT 数据查询,从而解决 MySQL 在多维度检索海量数据方面的性能与效率瓶颈。

 

该解决方案在使用半年后, NFTScan 逐渐发现其无法满足业务的快速增长,存在以下缺陷:

  • 可扩展性差,存储和维护成本高。每天新的区块链数据量急剧增加,但 MySQL 无法自动横向扩展以应对不断增加的工作负载。NFTScan 不得不手动对表进行分片并新增 MySQL 的主备集群,来分摊和均衡 CPU 和内存资源的使用,这大大增加了存储和维护成本。

  • 随着成本的增加,使用率下降。Elasticsearch 部署在 AWS 上,由于 AWS 原生集群配置的限制,NFTScan 不得不增加更多的 Elasticsearch 高配置数据节点来提供在线查询服务,这导致成本上升和使用率降低。

  • 反复出现的精度错误。Elasticsearch 数据库更多的是为搜索而设计的,而不是为计算设计,所以在聚合计算中存在精度误差。

 

为什么选择 TiDB?

 

经过近一个月的调研和测试,NFTScan 最终选择了 TiDB 来作为核心数据架构,替代原有数据库系统。NFTScan 研发团队在调研中选择 TiDB 主要有以下几点考量因素:

  • 高度兼容 MySQL :TiDB 在传输协议和 SQL 语法等方面与 MySQL 高度兼容,NFTScan 可以轻松地将数据迁移到 TiDB,MySQL 兼容性大大减少了研发团队使用新数据库的学习成本、时间和精力,同时也能加速数据库架构的迁移工作;

  • 弹性伸缩:TiDB 采用计算和存储分离的分布式架构以及底层分布式存储数据的设计机制,NFTScan 可以根据读写流量的实时变化灵活伸缩计算存储资源,最大限度地提高了资源使用率,并大幅降低了成本;

  • 一体化 HTAP 架构:TiDB 的 HTAP 能力可以同时处理事务和分析工作负载,一套数据库即可满足事务型数据库和分析型数据库的需求,不仅完美地满足了 NFTScan 不断增长的业务需求,还降低了整体运营成本;

  • 高可用性:TiDB 本身的数据副本同步机制和内置的灾备方案,保证了整体数据库服务的高可用性。

 

迁移方案

 

经过两个月的时间,NFTScan 完成了将底层数据库系统全部切换到 TiDB 的工作,通过部署 2 台 TiDB 服务器、9 台 TiKV 服务器和 2 台 TiFlash 服务器,并在同一 region 下,跨三个可用区(AZ) 进行部署,保证了整体架构的高可用性。

截至 2022 年 11 月,NFTScan 的 TiDB 数据库存储了大约 6TB 的业务数据,QPS 达到 5000,平均查询时长 40ms,各种应用在 TiDB 上运行稳定。

 

流畅的迁移体验

 

在整个迁移过程中,NFTScan 对 TiDB 的性能与数据迁移的流畅性印象深刻。

 

TiDB 提供了 Dumpling、TiDB Data Migration (DM) 等一系列数据同步套件,帮助 NFTScan 将历史数据从 MySQL 迁移到 TiDB。比如 NFTScan 的一些业务数据是不能直接迁移到 TiDB 的,必须在迁移前先进行调整。在这种情况下,TiDB 的同步工具可以并发写入大量数据。在解析存储实时 NFT 数据时,执行效率较之前的存储方案提升了约 30%。

 

同时,TiDB 的 online  schema update (在线 schema 更新)设计,使得 NFTScan 可以在迁移过程中进行异步更改字段和异步添加索引等数据定义语言 (DDL) 操作,而不会阻塞整个表的读写,这大大提高了业务逻辑调整时数据模式的灵活性。迁移完成后,NFTScan 对 B 端、C 端各类应用程序的数据查询进行了改造,经过充分调优和测试后,逐步将生产环境的应用全部切换到 TiDB。

 

用户收益

 

  • TiDB 支持多维实时查询,查询时间短。TiDB 完美地满足了 NFTScan 高吞吐量和低延迟的核心要求。以业务端的 API 服务为例,平均查询时间从 10-100 毫秒下降到 10 毫秒或更少。即使处理 1,000 QPS,这样的查询速度也能保持稳定。

  • TiDB 的列式存储引擎 TiFlash ,可以高效地处理分析工作负载。例如,在对某张具有数亿行的表执行复杂查询时,可以在几秒钟内获得结果。

  • TiDB 的智能 SQL 优化器可以根据数据的分布情况选择最具性价比的数据查询执行计划,让开发者可以灵活调整和优化 SQL 执行计划。

2023-04-13 14:193405
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 559.0 次阅读, 收获喜欢 1978 次。

关注

评论

发布
暂无评论
发现更多内容

构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践

阿里巴巴云原生

阿里云 Serverless 云原生

深入解读kubewharf项目:适用场景、优势与劣势 |社区征文

克莱因蓝

云原生 2023 #技术人的2023总结

如何使用Rust进行系统编程?

程序饲养员

Linux 系统编程 LibC rust语言

Calico IPIP模式下的Cross Subnet特性分析

华为云开发者联盟

开发 华为云 华为云开发者联盟

场外白名单达到1200U?Solana 生态铭文跨链桥 Sobit 是何神圣?

石头财经

2023 年中国金融级分布式数据库市场报告:TiDB 位列领导者梯队,创新能力与增长指数表现突出

PingCAP

数据库 TiDB

活动回顾|阿里云云原生 Serverless 技术实践营深圳站回放 & PPT 下载

阿里巴巴云原生

阿里云 Serverless 云原生

高光回眸:阿里云容器服务如何全面助力精彩亚运

阿里巴巴云原生

阿里云 容器 云原生

探索 Seata 项目开源开发之旅

阿里巴巴云原生

阿里云 云原生 seata

QCN9074 and QCN6274: Get through the fog of technology and choose your communication partner

wallysSK

TiDB 助力保险业首个全栈自主的核心保单系统成功投产

PingCAP

数据库 TiDB 保险业

Solana 生态铭文跨链桥 Sobit 是何神圣?其场外白名单已达到1200U

BlockChain先知

文心一言 VS 讯飞星火 VS chatgpt (166)-- 算法导论13.1 6题

福大大架构师每日一题

福大大架构师每日一题

Kubernetes常见的三种网络插件Flannel、Calico、Weave Net的比较:

虚实的星空

linux系统,合并分区是需要重新安装系统吗

德迅云安全杨德俊

更顺畅的极狐GitLab安装升级体验来了,赶快尝鲜吧!

极狐GitLab

多语言应用监控最优选,ARMS 应用监控 eBPF 版正式发布

阿里巴巴云原生

阿里云 云原生

看孙玲TEDX演讲有感

五月的风

0.1+0.2≠0.3,揭秘Python自带的Bug

程序员晚枫

Python

活动回顾丨云原生开源开发者沙龙深圳站回放 & PPT 下载

阿里巴巴云原生

阿里云 云原生

淘宝店铺订单接口丨天猫店铺订单接口丨淘宝店铺订单交易信息接口

tbapi

淘宝店铺订单接口 淘宝店铺交易接口 淘宝店铺订单交易接口

TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性

PingCAP

数据库 TiDB pingCAP

轻松搭建基于服务网格的 AI 应用,然后开始玩

阿里巴巴云原生

阿里云 云原生 asm

Koordinator 助力云原生应用性能提升:小红书混部技术实践

阿里巴巴云原生

阿里云 云原生 Koordinator

2024值得关注的技术社区

南城FE

前端 技术社区 技术论坛

TiDB 7.1 多租户在中泰证券中的应用

PingCAP

数据库 TiDB

2024 Python开发者转型Go开发

K8sCat

Python Go 语言

MSE Serverless 正式商用,构建低成本高弹性的微服务架构

阿里巴巴云原生

阿里云 微服务 云原生

日志框架简介-Slf4j+Logback入门实践 | 京东云技术团队

京东科技开发者

云原生场景下月省 10 万元资源成本,这家企业做对了什么

阿里巴巴云原生

阿里云 容器 云原生

一栈式 HTAP 数据库为 Web3 业务提供毫秒级多维查询 | 案例故事之NFTScan x TiDB _AI&大模型_TiDB技术团队_InfoQ精选文章