20 个大数据必知领域之「Iceberg」

第一章作业

1.找到⾃⼰⼼仪的岗位 / 公司，横向对⽐不同公司 / 产品岗位的差异，写⼀份备忘录，最好有结论，请注意排版和⽂件格式，建议图⽂并茂

Spring Boot 返回 Json 数据及数据封装

在项目开发中，接口与接口之间，前后端之间数据的传输都使用 Json 格式，在 Spring Boot 中，接口返回 Json 格式的数据很简单，在 Controller 中使用@RestController注解即可返回 Json 格式的数据，@RestController也是 Spring Boot 新增的一个注解，我们点进

基于 Flink SQL 构建流批一体的 ETL 数据集成

本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成,。

开发实战：LocalDateTime 转 RFC3339 格式

订单失效时间，遵循rfc3339标准格式，格式为YYYY-MM-DDTHH:mm:ss+TIMEZONE，YYYY-MM-DD表示年月日，T出现在字符串中，表示time元素的开头，HH:mm:ss表示时分秒，TIMEZONE表示时区（+08:00表示东八区时间，领先UTC 8小时，即北京时间）。

快来看，大数据两地三中心的容灾也可以如此省心！

摘要：随着数据湖技术从离线向实时的发展，数据湖在业务已逐渐从辅助决策向实时决策，实时干预甚至提前预防的方向发展，同时，随着国家把数据作为第五种生产要素，数据据价值在逐步提升，这样对海量数据湖的可靠性提出了新的要求。

高性能消息数据存储引擎的设计解析

转转数据中台技术架构方法论与实践

Flink 核心特性

批处理 ETL 已经消亡，Apache Kafka 才是数据处理的未来吗？

在QCon旧金山2016会议上，Neha Narkhed做了“ETL已死，而实时流长存”的演讲，并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的Apache Kafka流处理平台能够提供灵活且统一的框架，支持数据转换和处理的现代需求。

51｜Flink Table API/SQL 介绍与使用

MongoDB 数据中台案例

构建切实有效的湖仓一体架构

湖仓一体架构力图结合数据仓库的弹性和数据湖的灵活性。本文介绍了由数据抽取、处理、编目和分析服务组成的概念架构，并给出了构建切实有效湖仓一体架构的五个基本原则。

Databricks 开源存储层 Delta Lake，欲取代传统数据湖

近日，Databricks官方博客宣布开源Delta Lake项目。Delta Lake是一个存储层，为Apache Spark和其他大数据引擎提供可伸缩的ACID事务，让用户可以基于HDFS和云存储构建可靠的数据湖。此外，Delta Lake还提供了内置的数据版本控制，可以方便地回滚以及重新生成报告。

什么是大数据：从 GFS 到 Dataflow，12 年大数据生态演化图

要想学好大数据，我们需要先正本清源，弄清楚大数据在技术上到底涵盖了些什么。所以今天这节课，我就从大数据技术的核心理念和历史脉络这两个角度，来带你理解下什么是大数据技术。

大数据架构变革进行时：为什么腾讯看好 Apache Iceberg？

在基础软件开源化的趋势下，国内企业在数据湖技术点上的探索与跟进并不比国外企业落后太多

实时数仓在滴滴的实践和落地

滴滴技术 出品

送你两个神器，关系数据库数据入湖轻松应对

​​​​​​​​​​​​摘要：关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。