上世纪八九十年代,随着业务负载和数据规模的增长,迫使数据库从最初的单一系统拆分为 OLTP 与 OLAP 两种类型,产生了一批面向于数据分析(OLAP)的数据仓库产品。
近年,新硬件技术的发展、新场景对实时性的诉求,又驱动数据库技术向 HTAP 混合负载转型。业界权威咨询机构指出,预计到 2021 年,新增市场中混合负载数仓占比将从 10.1%快速增长至 30.6%,OLAP 数仓及 HTAP 混合负载数仓将占据 60.7%的市场空间,而云则是整个数据仓库市场增长的主要来源。
电商由于其业务弹性的典型特征,是云数据库及数据仓库的主力军。
安踏集团作为国内领先的体育品牌,多年来其销售业绩长期处于国内领先地位,在 2019 年“双十一”活动中,总集团电商流水已超 18 亿元,其电商销售在集团中占据了举足轻重的作用。安踏电商日常在线销售量达到百万级,随着消费群体更进一步年轻化、互联网化,原有电商业务已难以应对大规模在线交易及“实时分析”的业务要求,在“双十一”等诸多大型促销活动中更是面临巨大的挑战。
安踏电商原有系统采用传统解决方案,交易和 BI 相互独立。
交易平台采用分布式中间件+单机版数据库搭建,该方案不具备数据的强一致性能力,在同一时刻系统中数据可能是不完整、不准确的,为销售对单带来极大困难。为保证数据的最终一致性,交易系统数据需要通过 ETL 工具时隔数小时后同步到 BI 系统,无法做到实时分析,销售及运营主管不能实时掌握经营情况,为敏捷决策带来挑战。
图 1:安踏电商原有业务系统及 BI 系统架构
因此,安踏期望寻求新的解决方案以解决以上问题。经过严格的业务模拟、比拼测试后,华为云混合负载数仓 DWS 脱颖而出!
DWS 为安踏电商提供交易一站式解决方案,一套混合负载数仓 DWS 集群同时支撑电商订单交易与查询分析系统,做到数据实时一致、对单数据准确、运营报表“零”时延,并且在 2019 年“双十一”、“双十二”活动稳健运行。
那么,华为云混合负载数仓 DWS 都为安踏电商带来了哪些价值:
企业级混合负载数据仓库 一库两用报表系统“低”时延
华为云混合负载数据仓库 DWS,采用创新的“一库两用”设计理念,一套数据仓库集群既可以支持超高并发、低时延的业务交易请求,同时可支撑复杂的海量数据分析和 BI 应用,减少客户的开发和运维成本。安踏电商采用华为云混合负载数仓 DWS 后,相比于原系统,BI 系统时效性从大大提高,且数据分析性能提升 3 倍。
图 2:安踏新一代电商业务系统架构
支持超高并发写入、数据一致性保障
确保销售对单数据“实时、准确”
华为云混合负载数仓 DWS,小规模可支持万级 TPS 的写入能力,通过横向扩展可支持达百万至千万级 TPS,支撑安踏电商平稳度过 2019 年“双十一”、“双十二”。DWS 原生具备分布式事务 ACID 特性,具有数据的强一致性保证,在任何时刻保证交易系统数据的准确性、完整性,确保对单数据无误。并且 DWS 基于高可用的架构设计,提供自动化数据备份功能,备份数据存储在 OBS 中,可靠性达到 11 个 9,保障业务数据不丢失。
分布式架构,按需扩容 从容应对业务浪涌
华为云混合负载数仓 DWS 基于 Shared-nothing 分布式架构,支持线性扩容至 256 节点,同时支持节点规格升级,用户可以通过 Scale-up、Scale-out 不同方式提系统容量、业务的并发度和响应速度。DWS 支持行列混存、数据多副本存储及 AI 智能参数调优,具备高性能、高可靠、免运维的核心竞争力。
华为云混合负载数据仓库 DWS 是华为 GaussDB 内核对应的云服务产品,与神州数码、用友、帆软等合作伙伴展开深度合作,在金融、政府、运营商、大型企业等多个领域的 300+大客户规模商用。例如:国内某大型银行已成功上线 240 节点集群,承载其核心 PB 级数据仓库,是国内金融行业最大的数据仓库集群。
本文转载自华为云产品与解决方案站公众号。
原文链接:https://mp.weixin.qq.com/s/ZwQvly0gS74e722vPoKNow
评论