免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

华为云助力斗鱼,轻松应对海量数据分析

  • 2020-03-20
  • 本文字数:2176 字

    阅读完需:约 7 分钟

华为云助力斗鱼,轻松应对海量数据分析

互联网快速发展的当下,数据存储计算的需求与日俱增。华为在 GIV 2025 报告中指出,预计到 2025 年,全球每年新增数据存储量为 180ZB,企业的数据利用率将会达到 86%。


随着 5G、IoT、VR/AR、自动驾驶等技术的发展,会涌现更多大数据应用的创新,面对海量数据分析带来的算力需求不均、数据结构的多样化、高并发作业等诸多挑战,传统大数据平台存算一体耦合在同一集群,主要基于本地 HDFS 作为大数据存储。


这种存算一体的大数据技术架构随着存储量的增长计算成本也随之线性增长,无法灵活配置存储及算力,难以满足企业海量数据分析追求极致性价比的一些典型场景,需要通过大数据计算存储分离方案来解决。


  • 在离线分析场景中

  • 离线批处理,分析类型多,数据量大,大数据开发需求爆发式增长,对存储和算力需求不一。当存储空间或计算资源不足时,企业只能同时对两者进行扩容,虽然能保证性能最优,但存算资源,扩容成本高,利用率低。通过大数据计算存储分离方案,计算不够扩计算,存储不够扩存储,计算资源根据任务负载动态扩缩容机器,最大限度降低企业使用成本,提升资源利用率。

  • 在日志留存场景中

  • 存储周期变长(例如 2 个月变成 6 个月),但算力并不需要显著增加,通过大数据计算分离方案可降低计算的配置和成本。

  • 在一些为了提高效率的场景中

  • 有时需要关闭闲置的计算集群,但由于计算集群中存在数据,关闭闲置的计算集群会导致数据丢失,无法实现真正的弹性计算,存算分离可保证数据不丢失。


作为国内首家弹幕式直播分享网站,斗鱼已成为国内排名第一的电竞娱乐一站式直播分享平台,以游戏直播为主,涵盖了体育、综艺、娱乐等多种直播内容,每天都在为成千上万的观众分享欢乐。


据头榜 2019 年 12 月数据显示,斗鱼日均活跃观众 1485.56 万人次,累积弹幕总数 9 亿 7073 万,活跃主播 32.38 万人次,平均在线时长达 5 小时以上,累积付费礼物 4 亿 6146 万……每月将会产生 PB 级数据量。


与此同时,直播黑产(主播刷榜、渠道推广、非法充值等等)也越来越猖獗,斗鱼自建的大数据分析平台面临数据量和计算量大但要严格控制成本的困难,在有限的投入下提升斗鱼风控平台投诉排查效率。


在 HUAWEI CONNECT 2019 大会期间,李瑞(斗鱼风控代表)表示:


斗鱼大数据分析平台目前是自建集群基于开源 CDH,随着业务规模越来越大,面临数据量大、计算量大,维护成本高的困难,需要寻求稳定高性价比的解决方案。


通过严格的业务模拟、比拼测试后,华为云“存算分离+鲲鹏”大数据解决方案适用斗鱼大数据数据增速快于计算的业务场景。其在读写性能、复杂计算、简单计算、数据倾斜等方面均优于 IDC 本地大数据计算集群,整体性能得到大幅提升。


那么,华为云“存算分离+鲲鹏”大数据解决方案为直播代表斗鱼带来了哪些价值:

存算分离性价比高,极致弹性 大幅提升大数据集群资源利用率

华为云“存算分离+鲲鹏”大数据解决方案针对传统存算一体大数据架构中扩容困难、资源利用率低等问题,


采用计算存储分离架构:


  • 存储基于公有云对象存储实现 11 个 9 的高可靠,无限容量,支撑企业数据量持续增长;

  • 计算资源支持 0~N 弹性扩缩,百节点 3 分钟发放。存算分离后,计算节点可实现真正的极致弹性伸缩;

  • 数据存储部分基于 OBS 的跨 AZ 等能力实现更高可靠性,无需担心地震、挖断光纤等突发事件。


存储和计算资源可以灵活配置,根据业务需要各自独立进行弹性扩展,可使资源匹配更精准、更合理,让大数据集群资源利用率大幅提升,综合分析成本降低 50%,帮助斗鱼实现性价比最优。同时:


  • 通过高性能的计算存储分离架构,针对对象存储数据访问效率深度优化(元数据操作、写入算法优化等),实现存储加速;

  • 通过分布式高性能缓存,异构存储模型,支持热数据加速访问,实现缓存加速;

  • 通过高性能 shuffle、高效的 SQL 优化器,实现计算引擎加速;支持多数据源的计算下压,性能相比开源提升 1 倍。


基于多级加速技术支持,助力斗鱼离线大数据分析效率大幅提升。



图 1 华为云存算分离大数据架构

鲲鹏加持 为大数据提供更高算力

在计算层,华为云“存算分离+鲲鹏”大数据解决方案基于鲲鹏处理器的多核高并发能力、自研 EulerOS,可为用户提供包括裸金属服务器,云服务器,容器和 Serverless 在内的多种粒度的大数据算力,大数据分布式场景性能可提升 25%,可轻松处理 PB 级数据作业,帮助斗鱼解决 IDC 算力不够的问题,为斗鱼在海量数据多并发作业提供可扩展的分析能力。

开放生态 全面兼容,0 改造上云

华为云坚持开放生态路线, “存算分离+鲲鹏”大数据解决方案完全兼容开源原生接口,全面兼容主流的大数据生态,让斗鱼大数据应用从 IDC“0 改造”平滑移植上华为云。


同时提供一份数据支持多引擎的能力,即同一份数据存放在 OBS 上供多引擎调度(传统批、流、交互式,以及 AI 引擎),数据“0”搬迁,减少数据冗余,支持多种业务计算诉求,实现真正数据湖,帮助斗鱼减少重复投资,轻松应对海量存储,提升业务分析效率。未来双方还将在 AI,视频云服务,5G+Cloud+直播创新等领域进一步合作,打造更好的用户体验。


华为云“存算分离+鲲鹏”大数据解决方案为客户和伙伴提供高性价比、极致弹性伸缩、多元计算引擎的业界领先大数据解决方案,使得客户和伙伴可以更加聚焦业务,创造价值,打破数据孤岛,助力企业数字化转型。


本文转载自华为云产品与解决方案站公众号。


原文链接:https://mp.weixin.qq.com/s/KSO9f2N5MY36pDmC_xSTLQ


2020-03-20 21:28797

评论

发布
暂无评论
发现更多内容

2020南京国际人工智能产品展览会

InfoQ_caf7dbb9aa8a

人工智能

Java 客户端操作 FastDFS 实现文件上传下载替换删除

哈喽沃德先生

Java 文件系统 分布式文件存储 fastdfs 文件服务器

第3周学习总结

饭桶

坚持写技术博客一年能有多少收获!

小傅哥

Java 面试 架构师 编程经验 技术博客

轻言业务架构图

凌晞

架构 企业架构 架构设计 架构设计原则 业务架构

转型敏捷123

研发管理Jojo

2020第十三届南京国际智慧停车展览会

InfoQ_caf7dbb9aa8a

2020第十三届南京国际大数据产业博览会

InfoQ_caf7dbb9aa8a

MySQL-技术专题-实战技巧

洛神灬殇

MySQL-技术专题-Join语法以及性能优化

洛神灬殇

第3周作业提交

饭桶

架构方法论之“极限审视法”

凌晞

架构 方法论 设计思维

万万没想到!ModelArts与AppCube组CP了

华为云开发者联盟

AI 技术 华为云

SpringBoot 实战:如何优雅的处理异常

看山

springboot 实战 优雅响应

从戚家军看组织战斗力塑造(组织的六脉神剑)

凌晞

组织

什么是 Kubeless?| 玩转 Kubeless

donghui

Kubernetes kubeless

技术革新的脉络及趋势

凌晞

技术 进步

手把手教你锤面试官 04——假装精通redis

慵懒的土拨鼠

Redis-技术专题-数据结构

洛神灬殇

2020第十三届南京国际智慧工地装备展览会

InfoQ_caf7dbb9aa8a

MySQL-技术专题-SQL性能分析

洛神灬殇

我就不服了,看完这篇文章,5大常见消息队列开发你还学不会

小Q

Java 编程 程序员 开发 消息队列

2020第十三届南京国际智慧新零售暨无人售货展览会

InfoQ_caf7dbb9aa8a

“三段三域法”应用架构模型

凌晞

架构 架构设计 技术架构

晨间日记的奇迹

熊斌

读书笔记

SpringBoot-技术专题-@Async异步注解

洛神灬殇

2020南京国际工业互联网及工业通讯展览会

InfoQ_caf7dbb9aa8a

高难度对话读书笔记——目的篇

wo是一棵草

架构师训练营第一期 - 第四周课后 - 作业二

极客大学架构师训练营

PanDownload复活了!60MB/s!附下载地址

程序员生活志

PanDownload 网盘 下载器

技术解码 | 玩转视频播放,自适应码流技术

腾讯云音视频

音视频 转码

华为云助力斗鱼,轻松应对海量数据分析_服务革新_华为云产品与解决方案_InfoQ精选文章