运营商如何实现业务的全面化实时监控展示？——Pandora 日志大数据平台实战分享

随着数据收集的渠道和维度不断跃升，海量数据中蕴含的价值，正越来越多地受到关注。更加精准的产品运营分析，更加高效的运营效率，更有说服力的利润增长点，无不依赖于对业务数据的深入分析与挖掘。

运营商作为数据服务的提供者，在数据的广度上拥有与生俱来的优势，面对这样一座纷繁庞杂却价值无穷的数据金矿，如何使之真正成为促进业务产品发展的有效资源，是亟待解决的问题。而进行业务全面化的实时监控便是良策。实现业务全面化的实时监控，宛如装配上先进的探测雷达，让数据不再沉默，为精细化运营提供数据支撑，使未来业务增长有迹可循。

行业客户关键词解析：数字电视+运营

数字电视作为发展迅猛的新媒体渠道，是客户的重要业务之一。其用户遍布全国 23 个省份，总数高达 2000 余万。

与此同时，客户作为国内知名运营商的研发机构，掌控着丰富的网络资源，提供基于基础网络的相关服务。伴随数字电视产品不断演进，市场对于服务提出了更高的要求，我们如何能够提供给用户更加优质的视频播放质量？如何能够更加快速响应用户对于问题的反馈？如何结合用户使用习惯提供更加贴心的服务？

透过市场真实的反馈，亟待我们解决的问题逐渐清晰起来：作为行业内一流的研发机构，旨在利用海量的数据资源，基于业务数据进行产品运营分析，从而优化体验、创新服务模式、增加用户粘性，提升产品和服务在市场的竞争力。

仔细检查这些市场需求，我们发现一切诉求最终核心指向了一个关键词：数据。如果没有可靠、实时的数据，没有能够支撑大数据量的计算平台，没有灵活易用的数据可视化工具，就无法支撑实时的质量分析和需求响应，这一切市场需求的满足就无从谈起。

早期解决方案：Hadoop 套件 + RDS + 定制可视化系统

为了解决这些问题，客户引入了业内非常标准的 Hadoop 生态的解决方案。采用数字电视设备安装探针，收集海量的性能分析和运营数据，通过比较常规的大数据手段，首先将数据接收到消息队列，使用 flume 等工具将数据归档至 HDFS，使用 Spark / Hive 等工具做较为复杂的离线 ETL 加工，将聚合结果数据导入 RDS 数据库，最终研发团队结合数据进行可视化展示。

这套架构在相当一段时间内都运转较为良好，但是伴随着业务飞速发展

，这套架构中间的问题也逐渐暴露出来：

实时性难以满足业务需求：

这套组织架构的核心是离线 ETL 加工，离线的属性导致了数据延迟性比较高，按日统计每天的运营报告逐渐不能满足日益增多的用户和运营需求。比如当出现区域性的视频播放问题的时候，或者有大量用户投诉视频播放质量的时候，无法及时跟进分析根因和响应用户的需求。

可视化产出价值困难：

Hadoop 平台无法直接输出大屏展示，需要配合专业的可视化展示工具，展示效果需要专业的团队进行定制。由于开源的可视化软件往往没有较为精美且灵活的大屏展示能力，想要做出高质量的可视化分析、展示大屏需要客户投入大量的人力资源。导致开发周期长，想法落地慢。

技术栈较多，维护复杂：

Hadoop 生态平台技术栈很多，需要完成一个业务目标需要很多不同的技术组件。客户需要专业的大数据公司负责日常运营，成本高企不下。另外对于数据分析的需求新增和变更都需要专业工程师参与，无法及时响应业务要求。

面对以上种种问题，找到一个具有技术前瞻性的数据分析展示平台，来对接已有的日志数据，就显得尤为重要。

Pandora ：实时的业务运营分析系统

针对以上的痛点和现状，客户选择七牛云 Pandora 日志大数据平台。Pandora 日志大数据平台，包含了强大的 Logkit 开源的数据收集组件，支持与客户大量的数据源进行集成；包含了丰富功能的 Pipeline，支持丰富的流式计算/导出等工具，在数据进入系统时就可以满足大量实时的运算需求；Insight 平台支持统一日志存储，将日志数据进行索引和存储，可以对数据进行实时的分析和可视化。

Insight 支持灵活丰富的可视化工具，可以帮助非专业工程师通过图形化界面，轻松针对查询和计算分析结果，搭建专业水准的可视化应用，目前支持如折线图、区域图、柱状图、饼图、地图、单值图、雷达图、散点图、气泡图、数据表格、富文本、气泡地图、迁徙图、桑基图、关系图等 30 多种图表类型，满足运营运维监控、风险预警等多种业务展示需求。

在易用性的基础上，Pandora 日志大数据平台也为用户提供足够深度的分析结果，涵盖部署分布情况、整体开机率、在线率、上报率、月新增探针数、电视机品牌分布、机顶盒品牌分布、视频质量分析等各项业务指标；机顶盒分省上报的数据量、终端量、业务使用的实时统计，包括当天上报的总记录数、分版本的记录数、当天上报的总终端数量、分时在线终端数、直播点播分别的在线观看用户数。

而充分详实的大屏内容，可让数据第一时间高速直达实现态势感知，自内而外地形成了高效可用的解决方案。

优势赋能行业，价值带来提升

在客户接入 Pandora 日志大数据平台后，数据实时统计周期有效缩短，日常运营技术要求明显降低，关键运营指标均有显著提升。

实时高效，成本降低

对比以往，数据的聚合分析时间由日级提升至秒级，在实时数据分析引擎的支持下，海量数据可实时分析，曾经需要几个小时来完成的数据计算和展示，现在可做到实时查看。

数据可视，生动友好

Pandora 数据可视化模块用更生动、友好的形式，呈现隐藏数据背后的业务玄机。通过交互式实时数据可视化大屏，实现态势感知。

简单易用，灵活调整

数据分析提供可视化操作界面，降低用户学习成本和心智负担，可以根据业务要求灵活调整分析指标和展示效果，能够敏捷响应运营需求。

业务洞察，优化决策

以数字电视用户为中心，开展用户运营数据分析与数据挖掘，支撑各类数据应用，包括基础设施建设优化、网络运营管理优化、客户服务优化及运营决策支持等，并可以有效发现问题、防止用户流失。

私有部署，安全无虞

平台私有化的部署方式以及严格的权限体系，保证数据安全，避免数据泄露。

同时，Pandora 日志大数据平台也具备可升级能力，可以为用户未来的业务扩展提供更多维度的数据支持。

持续增长，未来可「七」

根据《 2018 年中国 IPTV 行业发展现状及发展趋势分析》显示，目前 IPTV 在国内的渗透率约为 24.95%，处于较低水平，未来仍有较大的可发展空间。我国 IPTV 用户数年均复合增长率为 56.29%，呈现较快增长趋势。

在这样的大背景下，可以预见到的是：更多的用户数量势必带来更多的数据量。现阶段选择 Pandora 日志大数据平台进行大数据运营的建设，不仅为当下的发展提供保证，也为未来的增长可能性打下基础。

Pandora 日志大数据平台也会持续演进，不仅在运营商数字电视业务领域持续赋能，更会在「关联复杂分析」、「安全防护监控」、「机器学习预测」等领域持续发力，帮助数字电视行业和更多行业的决策人员利用大数据来洞察风险、开拓业务、高效运营，实现可持续增长和商业成功。

本文转载自公众号七牛云（ID：qiniutek）。

原文链接：

https://mp.weixin.qq.com/s/Em97-9GVFYhj5gXJOg7j5Q