AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

大数据分析引擎 Apache Flink 升级成为 Apache 顶级项目

  • 2015-01-16
  • 本文字数:1043 字

    阅读完需:约 3 分钟

Apache Flink 是一个高效、分布式、基于 Java 实现的通用大数据分析引擎,它具有分布式 MapReduce 一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案,它支持批量和基于流的数据分析,且提供了基于 Java 和 Scala 的 API。从 Apache 官方博客中得知,Flink 已于近日升级成为Apache 基金会的顶级项目。Flink 项目的副总裁对此评论到:

Flink__ 能够成为基金会的顶级项目,自己感到非常高兴。自己认为社区的驱动将是 Flink 成长的最好保证。Flink 逐渐的成长以及众多新人加入该社区真是一件大好事。

从 Flink 官网得知,其具有如下主要特征:

1. 快速

Flink 利用基于内存的数据流并将迭代处理算法深度集成到了系统的运行时中,这就使得系统能够以极快的速度来处理数据密集型和迭代任务。

2. 可靠性和扩展性

当服务器内存被耗尽时,Flink 也能够很好的运行,这是因为 Flink 包含自己的内存管理组件、序列化框架和类型推理引擎。

3. 表现力

利用 Java 或者 Scala 语言能够编写出漂亮、类型安全和可为核心的代码,并能够在集群上运行所写程序。开发者可以在无需额外处理就使用 Java 和 Scala 数据类型

4. 易用性

在无需进行任何配置的情况下,Flink 内置的优化器就能够以最高效的方式在各种环境中执行程序。此外,Flink 只需要三个命令就可以运行在 Hadoop 的新 MapReduce 框架 Yarn 上,

5. 完全兼容 Hadoop

Flink 支持所有的 Hadoop 所有的输入 / 输出格式和数据类型,这就使得开发者无需做任何修改就能够利用 Flink 运行历史遗留的 MapReduce 操作

Flink 主要包括基于 Java 和 Scala 的用于批量和基于流数据分析的 API、优化器和具有自定义内存管理功能的分布式运行时等,其主要架构如下:

更多关于 Flink 的相关信息,请读者登录其托管在 GitHub 的主页和其官网查看。另外,开源的大数据分析平台除了 Flink 外,还包括 Apache 推出 Google Dremel 的开源版本 Apache Drill (2014 年 12 月份升级成为 Apache 基金会的顶级项目)、来自 NSA(美国国家安全局) Apache Nifi (2014 年 12 月份贡献给 Apache 基金会)、来自 Cloudera 公司开发的实时分析系统 Impala (受 Google Dremel 启发)、加州伯克利大学 AMPLab 开发的大数据分析系统 Shark 、Facebook 开源的分布式 SQL 查询引擎 Presto Hortonworks 开源的实时且类 SQL 的即时查询系统 Stinger 等等。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-01-16 01:3720639
用户头像

发布了 92 篇内容, 共 48.3 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

【LeetCode】数组中第 K 个独一无二的字符串Java题解

Albert

LeetCode 6月月更

数据库每日一题---第3天:大的国家

知心宝贝

数据库 算法 前端 后端 6月月更

700行无用 纯 CSS 祝考生 金榜高粽《1_bit 的无用 CSS 代码 》

1_bit

CSS html 前端

模块3作业(外包学生管理系统架构文档)

Geek_701557

Squarespace 和 WordPress 的区别

海拥(haiyong.site)

WordPress 6月月更

Web Service进阶(三)HTTP-GET, HTTP-POST and SOAP的比较

No Silver Bullet

soap 6月月更 Web Service HTTP-GET HTTP-POST

【盲盒APP】开发功能版块及功能介绍

WDL22119

Python环境搭建

芯动大师

Python编程 6月月更 Python环境

外包学生管理系统

极客土豆

支付系统安全设计思维导图

靠谱的程序员

支付安全

Web Service进阶(一)运行原理

No Silver Bullet

6月月更 Web Service 运行原理

Flink on yarn 远程调试源码

JasonLee实时计算

flink

【腾讯云代码分析】五月上新+新功能前瞻

腾源会

学生管理系统架构文档

爱晒太阳的大白

以购物清单为例讲述 Redux 的状态如何在 Flutter 多个组件间共享

岛上码农

flutter 安卓开发 ios 开发 跨平台应用 6月月更

Sentinel与OpenFeign 服务熔断那些事

牧小农

sentinel openfeign

Jetpack Composes 之TextField详解

坚果

6月月更

SDN系统方法 | 4. 裸金属交换机

俞凡

架构 网络 sdn SDN系统方法

【Spring 学习笔记(四)】Spring Bean 集合注入和自动装配

倔强的牛角

spring Java EE 6月月更

等你加入|建木开源社区团队成员招募

Jianmu

开源社区 自动化运维 社区运营 志愿者招募

关于 SAP Commerce Cloud 的 Sample Setup Github 仓库

汪子熙

typescript angular SAP commerce 6月月更

JavaScript迭代器

大熊G

JavaScript 前端 6月月更

Flink 通过 State Processor API 实现状态的读取和写入

JasonLee实时计算

flink

抖音大举进军电商领域:这步棋应该如何下

石头IT视角

区块链mass哈希競猜dapp游戏开发源代码(多游戏)

开发微hkkf5566

初识SDN网络

穿过生命散发芬芳

SDN网络 6月月更

《WebRTC源码深入剖析》总结

音视频专家-李超

源码分析 音视频 WebRTC 源码剖析

使用 TensorFlow 和 Express.js 实现AI图像识别

devpoint

tensorflow Express 6月月更

java构造器(构造方法、构造函数)

写代码两年半

面试 javase 构造函数 6月月更

LabVIEW控制Arduino采集多路模拟量、数字量(进阶篇—1)

不脱发的程序猿

单片机 LabVIEW VISA Arduino Uno 采集多路模拟量、数字量

Linux驱动开发_数码相册项目、360WIFI驱动移植介绍

DS小龙哥

6月月更

大数据分析引擎Apache Flink升级成为Apache顶级项目_开源_李士窑_InfoQ精选文章