构建现代化数仓 将 MPP DBMS 迁移至 Spark

大数据培训 Spark 数据倾斜问题的解决方法

​注意，要区分开数据倾斜与数据过量这两种情况，数据倾斜是指少数task被分配了绝大多数的数据，因此少数task运行缓慢；数据过量是指所有task被分配的数据量都很大，相差不多，所有task都运行缓慢_大数据培训。

大数据培训 Spark 高频面试考点分享

​Spark 不一定非要跑在 hadoop 集群，可以在本地，起多个线程的方式来指定。将 Spark 应用以多线程的方式直接运行在本地，一般都是为了方便调试 _大数据培训。

开篇词 | 入门 Spark，你需要学会“三步走”

通过“学、用、写”不断迭代的学习方式，我把零散的开发技巧归纳成了结构化的知识体系。

探索 eBay 用于交互式分析的全新优化 Spark SQL 引擎

看一下 eBay 如何创建优化的 SQL 解决方案，它可以为新的基于开源的分析平台提供更高的速度、稳定性和可扩展性。

应用开发三原则：如何拓展自己的开发边界？

今天，我会从应用开发的角度入手，带你探讨开发阶段应该遵循的三大基础原则，让你在能尽可能地避开很多“坑”。

成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤

从 Hadoop 迁移到基于云的现代架构（比如 Lakehouse 架构）的决定是业务决策，而非技术决策。我们在之前的文章中探讨了每一个组织都必须重新评估他们与 Hadoop 的关系的原因。本文中，我们将特别关注实际的迁移过程本身。你将学习成功迁移的关键步骤，以及 Lakehouse 架构在激发下一轮数据驱动创新中所扮演的角色。

什么是大数据：从 GFS 到 Dataflow，12 年大数据生态演化图

要想学好大数据，我们需要先正本清源，弄清楚大数据在技术上到底涵盖了些什么。所以今天这节课，我就从大数据技术的核心理念和历史脉络这两个角度，来带你理解下什么是大数据技术。

大数据开发面试之 26 个 Spark 高频考点

Spark 高频知识点，你都会了吗？

看 CarbonData 如何用四招助力 Apache Spark

摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。

「Spark 从精通到重新入门 (二)」Spark 中不可不知的动态资源分配

资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor，可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中，无论 Executor上是否有task在执行，都会被一直占有直到此Spark应用结束。

Spark 未来趋势：DeltaLake 实战

开篇词 | Spark 性能调优，你该掌握这些“套路”

你知道Spark 3.0有哪些新特性吗？为什么自己学了那么多的调优方法，应用的执行性能还是上不去？

教你如何在 Spark Scala/Java 应用中调用 Python 脚本

摘要：本文将介绍如何在Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。

LinkedIn 数据分析技术栈的演进与实践

技术迁移是一项艰巨的工作，创新方法是有好处的。

教你如何在 Spark Scala/Java 应用中调用 Python 脚本

摘要：本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。

Spark 架构剖析：一个任务是怎么运行的

本文从一段代码开始，拆解Spark背后的运行机制

Spark 必读！总有一些 Spark 知识点你需要知道

一文梳理 Spark 必知必会知识点既可以快速对 Spark 有个简单清晰的认知；也可以回顾 Spark 基础概念和原理；还可以进行知识点查缺补漏。

万字长文，Spark 架构原理和 RDD 算子详解一网打进！

Spark超强攻略

Flink on Yarn 三部曲之一：准备工作，java 开发校招面试题

除了常见的standalone模式，Flink还支持将任务提交到Yarn环境执行，任务所需的计算资源由Yarn Remource Manager来分配，如下图(来自Flink官网)：

1. Hive 的基本概述与原理