发布了 9 篇内容
共 63193字, 被阅读 3212次
获得了 30 次赞同
获得了 5次喜欢, 获得了 25 次收藏
参与了 0 次互动
互动包含发布评论、点赞评论、参与投票等
基于 Prometheus+Grafana 打造企业级 Flink 监控系统
在进入本文之前,我先问大家一个问题,你们公司或者业务系统上是如何对生产集群上的数据同步任务、实时计算任务或者是调度任务本身的执行情况和日志的呢?可能你会回答是自研或者 ELK 系统或者自研的系统。
数据倾斜?Spark 3.0 AQE 专治各种不服
Spark3.0 已经发布半年之久,这次大版本的升级主要是集中在性能优化和文档丰富上,其中 46% 的优化都集中在 Spark SQL 上,SQL 优化里最引人注意的非 Adaptive Query Execution 莫属了。
你不可不知的任务调度神器 -AirFlow
Airflow 是一个编排、调度和监控 workflow 的平台,由 Airbnb 开源,现在在 Apache Software Foundation 孵化。AirFlow 将 workflow 编排为 tasks 组成的 DAGs,调度器在一组 workers 上按照指定的依赖关系执行 tasks。
英雄惜英雄 - 当 Spark 遇上 Zeppelin 之实战案例
我们在之前的文章中提到过《大数据可视化从未如此简单 - Apache Zepplien 全面介绍》一文中介绍了 Zeppelin 的主要功能和特点,并且最后还用一个案例介绍了这个框架的使用。这节课我们用两个直观的小案例来介绍 Zepplin 和 Spark 如何配合使用。
Hbase 性能优化百科全书
本文集合了小编在日常学习和生产实践中遇到的使用 Hbase 中的各种问题和优化方法,分别从表设计、rowkey 设计、内存、读写、配置等各个领域对 Hbase 常用的调优方式进行了总结,希望能对读者有帮助。
ClickHouse 在大数据领域企业级应用实践和探索总结
2020 年下半年在 OLAP 领域有一匹黑马以席卷之势进入大数据开发者的领域,它就是 ClickHouse。在 2019 年小编也曾介绍过 ClickHouse,大家可以参考这里进行入门: