构建现代化数仓 将 MPP DBMS 迁移至 Spark

Spark 架构剖析：一个任务是怎么运行的

本文从一段代码开始，拆解Spark背后的运行机制

教你如何在 Spark Scala/Java 应用中调用 Python 脚本

摘要：本文将介绍如何在Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

Celeborn 采用了 Push Shuffle 的设计，通过远端存储、数据重组、内存缓存、多副本等设计，不仅进一步提升 Gluten Shuffle 的性能和稳定性，还使得 Gluten 拥有更好的弹性，从而更好的拥抱云原生。

Spark 编程基础 (Python 版)

Spark编程基础(Python版)

什么是大数据：从 GFS 到 Dataflow，12 年大数据生态演化图

要想学好大数据，我们需要先正本清源，弄清楚大数据在技术上到底涵盖了些什么。所以今天这节课，我就从大数据技术的核心理念和历史脉络这两个角度，来带你理解下什么是大数据技术。

开篇词 | 入门 Spark，你需要学会“三步走”

通过“学、用、写”不断迭代的学习方式，我把零散的开发技巧归纳成了结构化的知识体系。

4. Spark 的核心数据抽象 RDD

Spark 统一内存划分

Spark统一内存划分结构

在 Inteillj IDEA 中使用 Spark 操作 Hive

前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。

Spark :: 大画 Spark(前传)—Spark 的 Dispatcher 原理

在Spark的网络环境中，Netty是进行RPC通讯的底层通讯模块，在Netty之上，Spark构建起了一整套的通信发送与接收处理机制，这个机制涉及到了Spark的Dispatcher，MessageLoop，Endpoint，Inbox等一系列的概念和关系，理解诸如这些概念和关系是很多Spark初学者的

5. Spark 的常见算子介绍

教你如何在 Spark Scala/Java 应用中调用 Python 脚本

摘要：本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。

向量化执行引擎框架 Gluten 宣布正式开源，并亮相 Spark 技术峰会

Gluten 项目旨在为 Apache Spark 注入 Native Vectorized Execution 的能力，极大优化 Spark 的执行效率和成本。

基于 Spark 的大规模日志分析

本篇文章将从一个实际项目出发，分享如何使用 Spark 进行大规模日志分析，并通过代码演示加深读者的理解。

应用开发三原则：如何拓展自己的开发边界？

今天，我会从应用开发的角度入手，带你探讨开发阶段应该遵循的三大基础原则，让你在能尽可能地避开很多“坑”。

Spark 必读！总有一些 Spark 知识点你需要知道

一文梳理 Spark 必知必会知识点既可以快速对 Spark 有个简单清晰的认知；也可以回顾 Spark 基础概念和原理；还可以进行知识点查缺补漏。

6. HBase 与 MapReduce 的集成实现

探索 eBay 用于交互式分析的全新优化 Spark SQL 引擎

看一下 eBay 如何创建优化的 SQL 解决方案，它可以为新的基于开源的分析平台提供更高的速度、稳定性和可扩展性。

大数据开发之 Hive 如何提高查询效率

​今天分享一下Hive如何提升查询效率。Hive作为最大数据培训常用的数仓计算引擎，是我们必备的技能，但是很多人只是会写Hql，并不会优化，也不知道如何提升查询效率，今天分享8条军规：

极光笔记丨 Spark SQL 在极光的建设实践

Spark在2018开始在极光大数据平台部署使用,历经多个版本的迭代,逐步成为离线计算的核心引擎。当前在极光大数据平台每天运行的Spark任务有20000+,执行的Spark SQL平均每天42000条,本文主要介绍极光数据平台在使用Spark SQL的过程中总结的部分实践经验