产品战略专家梁宁确认出席AICon北京站,分享AI时代下的商业逻辑与产品需求 了解详情
写点什么

上云这笔账,你算清了吗?分析数据上云的问题与解法

  • 2022-06-10
  • 本文字数:3996 字

    阅读完需:约 13 分钟

上云这笔账,你算清了吗?分析数据上云的问题与解法

随着越来越多的数据涌向企业,通过云服务厂商将数据上云已经成为大多数企业的共识。数据为王的时代,企业需要告别传统上云,让企业应用实现云原生。


数据上云能给企业带来诸多便利。例如,加快企业配置和部署工作,更好地管理资源;云储存带来的高扩展性,可以使得企业获得更多的资源配置等等;然而,企业数字化进程进入到一个新阶段,企业上云不再是传统方式那样把业务放入容器和 VM 中,更应该让业务“生于云、长于云”。企业云化从“ON Cloud”走向“IN Cloud”, 新生能力与既有能力有机协同、立而不破,实现资源高效、应用敏捷、业务智能、安全可信,助其成为“新云原生企业”。


云原生,即云上内生的云能力,基于统一的架构和云原生基础设施,实现多云协同、混合云解决方案、边云协同等能力。云原生时代下,企业应用数据的方式发生了根本性变化,即基于统一云基础设施的云原生数据库、大数据解决方案,将成为企业数字化转型的数据底座。


本篇文章将聚焦于不同的业务场景,探讨企业通过云原生能力进行数据上云时,面临的潜在问题以及相应的破解之法,以期帮助企业顺利实现数字化转型升级。

数据要上云,企业会有哪些顾虑?


正如上述所言,数据上云、云原生已是大趋势,通过上云,企业也能获得很多好处。目前,企业大多会依靠云服务厂商提供的数据库以及大数据平台,完成云原生改造。但是在数据存储和使用中,还存在着一些风险,同时,这些风险也是企业上云过程中非常关注的问题。


在存储方面,云原生是否真正能帮助企业降低了在数据方面的运维成本?这里所说的成本不仅包含云资源费用、人员培训等直接成本,也包含迁移及后期维护管理等间接成本。根据 2021 年软件资产管理商 Flexera 的云状态报告的数据,36% 的企业表示他们的云成本年度支出超过 1200 万美元,32% 的企业表示年度支出在 240 万~1200 万美元之间,这些数字都比去年大幅增加。由于上云需要将数据从原来的存储系统迁移到新的云存储系统中,而且目前不同厂商的云服务之间的标准不完全一致,因此,无论是从传统数据库迁移到云数据库,还是云数据库之间的迁移,都需要考虑数据库之间的兼容性以及迁移成本。


此外,具体到不同的业务场景,企业关心的侧重点也略有差异。由于金融机构在运营的过程中,在信息产生、获取、存储等环节会收集大量的数据,这些数据不仅涉及到用户隐私,甚至会影响国家经济安全。因此,金融行业对数据安全的重视程度远远高于其他行业,保证海量数据的安全性、准确性格外重要。而游戏行业对于云平台应对高并发请求的能力更加关注,一般来说,游戏都有自身的生命周期,基于前期的宣传及应用商店预约的热度,游戏上线初期就会迎来流量高峰,服务器则需要承载高并发请求,应对流量洪峰。


与存储同样重要的,还有数据的使用。技术的发展、市场需求增加,使越来越多的数据涌入,然而拥有数据不等于能解决实际问题,企业也面临着盘活数据、利用“隐形资产”——数据创造价值的挑战。2022 年埃森哲全球商业研究院发布的调研报告显示,仅 32% 的企业能够从数据中获取直观、可量化的价值;能够从中获得洞察和建议的更少,只有 27%。这说明,大部分企业虽然多年来在数据采集、存储、分析和配置上进行了投资,却并未从数据获取到具有高度可行性的洞察和建议。

企业数据上云的后顾之忧如何解决?


由于不同业务场景下,企业对数据上云有不同的要求和顾虑,这就把问题抛给了提供数据库和大数据平台服务的云服务厂商:能否给企业提供一个安全、易用的服务,通过云原生全栈能力更好地释放企业的数据价值,真正解决企业数据上云的顾虑?


在上云成本的问题上,云服务厂商在兼容性、易用性等方面均有考虑。在迁移成本方面,由于大部分互联网公司都在用开源、免费的 MySQL 数据库,因此,目前云服务厂商提供的服务几乎全部可以兼容 MySQL 数据库,甚至支持多种类型数据库的数据迁移,包括 MongoDB、MySQL 和 Redis 实例间数据迁移,使企业的迁移成本最小化;在使用成本方面,云数据库在支持快速创建实例、自动备份等方面能帮助企业快速部署和上手,降低使用与后期维护的成本。此外,云厂商们也在追求提供更“划算”的服务——企业可以只为需要的资源付费。


不仅金融行业关心数据安全性,云服务商也极其重视数据中心的安全,因此会采取诸多措施来为客户数据提供安全的环境,例如,物理数据中心安全、安全软件、信任根硬件、容灾备份等。具体来说,数据库的数据安全性会从可用性、完整性、隐私性三方面进行考虑,用数据备份、数字签名、身份验证等手段,保障数据的隐私和安全。而在应对类似游戏场景的高并发需求时,云计算中弹性伸缩技术发挥着非常重要的作用。对于数据库的架构而言,弹性伸缩需要考虑事务执行的先后次序,这意味着需要将存算分离,以根据业务的应用负载自动伸缩,灵活动态地分配或者释放资源。结合弹性计费策略,也能节约企业日常维护的开支。


同时,对于云服务厂商来说,如何帮助企业把数据价值更好地释放出来也是一个很大的挑战。传统的流计算和批处理分离的系统架构,限制了任务处理的速度,而流批一体则很好地解决了上述问题,对数据源、开发、计算、存储等方面进行统一,不仅降低了开发和运维成本,也消除重复的计算框架带来的逻辑不一致性,最大程度实现实时计算。同时,有全栈技术能力的一站式大数据分析平台也在崛起,能帮助企业在短时间内完成部署,打通多个业务系统数据,快速使用数据分析、运维、可视化等工具盘活数据价值。

华为云是如何给不同业务场景做支撑的?


如前文所述,随着大量数据的不断产生,不同的业务场景下对云服务厂商提出新的要求。在这种情况下,华为云吸引了很多人的目光,在传统制造、金融,以及大型游戏等行业的数据上云中,都有华为云数据库及大数据平台支撑的身影。


在数据存储、传输、计算方面,华为云数据库在华为累积多年的数据库研发、搭建和维护经验的基础上,结合数据库云化改造、云原生技术形成一站式数据库上云解决方案;而在数据流转、释放价值方面,华为云大数据包含单集群最大支持 6 万节点的 MRS 云原生数据湖服务、完全托管的 DLI 数据探索服务、创新的可信智能计算服务 TICS 以及 DGC 数据湖治理中心服务等,这些产品同华为云的计算、存储等有机结合,形成了大数据平台与生态。


以中国第一汽车集团有限公司(以下简称“中国一汽”)的上云过程为例,作为制造业最核心的生产系统,红旗 ERP 的微服务改造非常重要,在兼容性、海量扩展压力、性能压力以及可靠性方面均提出了比较高的要求。面对这些挑战,华为云用云原生数据库 GaussDB(for MySQL) 取代了之前系统相对封闭的主流商业数据库,提供了在云上和本地部署体验一致的云数据库服务,性能较开源数据库提升了 7 倍,降低数据库使用成本的同时,也提升了 ERP 系统的整体性能,真正做到了为传统企业“降本增效”赋能。


在安全、可靠方面,华为云的能力在支撑甘肃省医疗保障信息平台上线的过程中得到验证。由于医保业务属于类金融类的民生业务,因此需要具备故障自动切换的高可用能力和数据完整灾备能力,华为云分布式数据库 DDM 和云数据库 RDS for MySQL 共同承载起了甘肃省医保信息平台数十个业务系统的数字底座:

在安全可靠性方面,华为云数据库具备独立的知识产权,有 15+ 安全认证,也是国内首家获得应用安全标准 ISO/IEC 27034 和云安全 CSA STAR V4 认证,满足国家医保局对于应用国产化数据库的要求;

在响应速度方面,华为云数据库利用各项技术缩短 SQL 响应时间,从新平台的实际运行效果来看,其门诊结算系统响应速度从单次平均 5 秒提高到了单次平均 0.9 秒,入院办理系统从单次平均 3 秒提高到单次平均 0.4 秒,住院结算系统从单次平均 10 秒提高到单次平均 1.9 秒。业务请求端到端时延得到提升,减少了群众就医结算的等待时间;

在应对高并发、数据量大的问题方面,华为云数据库具备分库分表的能力,可通过增加节点实现性能和容量的线性增长,而且单集群数据库性能可达百万级 QPS,最高可实现 PB 级的存储容量;

在容灾方面,数据库基于其高可用架构,能够保障在平台出现故障时做到同数据中心故障自动秒级切换,并且通过数据复制服务 DRS 实现跨 Region 数据完整灾备,遇到故障时能确保业务的连续性和安全性。


同时,在大数据平台的实际应用中,架构灵活、开放共享以及轻量级对于助力企业挖掘数据价值有着重要作用,以华为云大数据平台在互联网出行和零售场景的应用为例。


前者面临着乘客用车后“长尾支付”带来的冷热数据随机更新、数据加工场景下的级联更新带来的数据处理进度慢的问题;同时,原有架构复杂,难以快速演进更新验证司机身份等关键功能。对此,华为云 FusionInsight 对 Hudi 开源做了大量创新,让该技术可以和众多的大数据组件得以高效集成,用增量更新的方式解决 T3 出行“长尾支付”难题;此外,将湖仓一体的存算分离架构优化,一份数据同时支持大数据分析和 AI 分析,采用像管理代码一样管理数据,让机器学习的效率更高,提升乘客的安全体验。


后者——五粮液则在线上购物和疫情的双重影响下,面临着业务增长放缓、数据散落分布,无法指导业务、只能看到进销存数据,无法得知产品流向及终端销售情况等问题。基于华为数据咨询服务和 Fusioninsight 智能数据湖,将巡店、云店、进销存、数据看板等数据高效协同,构建了统一的数据底座,通过实时掌握消费者习惯、各库存变化等信息,对消费者的个性化产品推荐及生产、投放策略进行规划,在试运行的 20 家智慧门店销售额提升了 150%。借助华为云大数据解决方案,企业可以快速获得数据分析和洞察,让数据的价值在业务发展中得到实现。

写在最后


随着物联网时代的到来,信息交互将越来越庞杂,数据将继续以几何级爆炸增长。面对更大规模,更复杂的数据,企业也将会在数据云原生的过程中应对更多挑战。目前,华为云无疑从稳定性、安全性、低成本、易用性等方面,给出了一个优秀的可选项。未来,华为云等云服务厂商会在企业云原生之路上带来哪些惊喜?我们一起期待。

2022-06-10 14:585162

评论

发布
暂无评论
发现更多内容

如何使用 Restful ABAP Programming 编程模型开发一个支持增删改查的 Fiori 应用

汪子熙

RESTful SAP abap Fiori 5月月更

大规模C++编译性能优化系统OMAX介绍

百度Geek说

后端

PHP实现令牌桶限流Redis list列表 Lpush rpop 实现令牌桶 - 限流 PHP实例

Owen Zhang

php

Flink 1.15 新功能架构解析:高效稳定的通用增量 Checkpoint

Apache Flink

大数据 flink 编程 流计算 实时计算

监控系统报警级别设定

焦振清

监控系统 报警级别

GraphQL初探

RingCentral铃盛

JavaScript graphql

4种Springboot RestTemplate 服务里发送HTTP请求用法

华为云开发者联盟

Java Rest HTTP

微信朋友圈的高可用复杂度

joak

web前端培训复盘30+技术点(满满干货,建议收藏)

@零度

前端开发

二、KVM架构概述

穿过生命散发芬芳

kvm 5月月更

华为AppCube通过中国信通院“低代码开发平台通用能力要求”评估!

华为云开发者联盟

低代码 华为云 AppCube

沉浸式体验网易云信在线 KTV

网易云信

音视频技术

锅圈如何利用 Zadig 从容落地运维容器化建设

Zadig

DevOps 云原生 CI/CD 持续交付

F5 NGINX 核心人员倾力打造,搞懂 NGINX 这一本就够了

图灵教育

nginx 程序员 服务器 计算机

数据库治理的云原生之道 —— Database Mesh 2.0

SphereEx

Apache 数据库 开源 ShardingSphere SphereEx

【直播回顾】OpenHarmony知识赋能五期第六课——子系统相机解读

OpenHarmony开发者

OpenHarmony

私有化IM内置专属文档中心,助力企业协作闭环

WorkPlus

喜讯!「凡泰极客」中标「廊坊银行」小程序平台应用建设项目

FinClip

小程序 finclip 廊坊银行

大数据培训用SQL来实现用户行为漏斗分析

@零度

大数据开发

详解SQL操作的窗口函数

华为云开发者联盟

sql 窗口函数 AP场景

带你学习MindSpore中算子使用方法

华为云开发者联盟

模型 mindspore 算子

java培训如何减少 try-catch,这样做才优雅

@零度

JAVA开发

深度学习六十年简史

OneFlow

人工智能 机器学习 深度学习

敏捷领导力(CAL E+T+O)认证在线培训 | 2022年8月18-20日

ShineScrum捷行

敏捷 敏捷领导力 CAL 世界级敏捷领导力大师

阿里云移动研发平台EMAS:4月产品动态更新

移动研发平台EMAS

阿里云 用户增长 研发工具 移动测试 移动推送

企业实施知识管理建设的7条建议

小炮

英特尔投资47亿构建巨型实验室所谓何?数据中心已然进入“液冷时代”

GPU算力

域名被劫持应该如何处理

源字节1号

软件开发

【网易云商】TypeScript 进阶指南,突破基本类型

网易智企

typescript

幸运哈希defi游戏系统开发方案(防作弊)

开发微hkkf5566

回顾|Flink CDC Meetup(附 PPT 下载)

Apache Flink

大数据 flink 编程 流计算 实时计算

上云这笔账,你算清了吗?分析数据上云的问题与解法_云原生_任传英_InfoQ精选文章