写点什么

微软 Arindam Chatterjee 访谈:Azure HDInsight 4.0

  • 2018-10-25
  • 本文字数:2351 字

    阅读完需:约 8 分钟

Azure HDInsight 4.0 以 Apache Hadoop 3.1 为基础,其公开预览版最近在 Azure 上发布。其主要更新包括:

  • Apache Hive 3.0 LLAP(在 HDInsight 中称为交互式查询的低延迟分析处理),改进了快速查询和事务。
  • 具有可更新表的 Apache Spark 和使用 Hive Warehouse 连接器的 ACID 事务。
  • Apache HBase 2.0 及 Apache Phoenix 5.0 性能和稳定性特性。

Azure HDInsight 是一个基于 Apache Hadoop、Spark 和 Kafka 的服务提供服务,用于大数据处理和分析。它以 Apache Hadoop 3.1 和 hortonworks 数据平台(HDP)3.0 为基础,几乎所有的组件都进行了更新。

InfoQ 联系了微软首席主群经理 Arindam Chatterjee ,了解微软 Ignite 大会上发布的关于 HDInsight 的消息。

他介绍了托管服务相对于传统的基础设施即服务的优势、可以创建的不同类型的集群(Apache Hadoop、Spark、Kafka、Storm 等)以及如何根据实际需求定制。他讨论了基于活动目录集成的企业安全特性、数据迁移到集群的最新版本以及能够创建支持 Jupyter 和 Zepplin 笔记本的 Spark 集群。最后,他谈到了如何将社区工作整合到产品路线图中。

InfoQ:HDInsight 捆绑了 Hortonworks HDP 版本,是吗?除了“PaaS 与 IaaS”方法的典型优势之外,HDInsight 还提供了什么?

Chatterjee:Azure HDInsight 确实提供了来自 Hortonworks 的 HDP,然后对其进行了优化,使其能够在 Azure 中对 Azure 存储、Azure 数据湖存储(ADLS) Gen1 和 Gen2 等远程存储进行操作。HDInsight 是一个“托管平台”,对于内部部署或 IaaS 部署,客户可以获得他们期望的全部控制权和可扩展性,同时仍然可以从高可用性 SLA、24x7 监控以及与他们希望从 PaaS 服务获得其他 Azure 服务的深度集成中获益。

InfoQ:尽管 HDInsight 采用了更多的 PaaS 方法,但是定制每个安装容易吗?

Chatterjee:有几种方法可以定制 Azure HDInsight 集群。首先,HDInsight 允许客户通过 ssh 接入 HDI 集群,并根据他们的需求定制它,例如,通过安装自己的工具、微调配置设置等。其次,HDInsight 还允许客户在准备集群时运行自定义脚本(又名 ScriptAction),实现按需定制。

最后,客户可以在 Azure Marketplace 上选择 Hadoop/Spark 社区中最流行的 30 个应用程序中的任何一个,并将其安装到它们的集群中。这些应用程序针对大数据应用程序的所有方面都提供了独特的解决方案,包括数据摄取、机器学习、可视化、数据编排和治理等。

InfoQ: 从金融到医疗,在许多涉及大数据的垂直领域里,企业安全都是一个很大的需求。HDInsight 在这个领域提供了什么?

Chatterjee:Azure HDInsight 中的企业安全旨在提供全面的深度防御。

网络隔离:客户可以在 VNet(虚拟网络)中隔离他们的 HDInsight 集群,并配置 NSG 规则,以确保只有经过批准的用户 / 设备才能访问集群。此外,它们可以使用服务端点安全来限制对包含最敏感数据的数据存储的访问。

身份验证:与所有 Azure 服务一样,Azure HDInsight 集成了 Azure 活动目录(AAD),用于对所有的管理门户或功能访问进行身份验证。要访问实际的 HDI 集群,HDInsight 支持通过活动目录域服务(ADDS)进行 Kerberos 身份验证。这些特性使企业用户能够使用企业域凭证登录 HDI 集群。

授权:对于对所有的管理门户 / 操作,除了要严格执行标准的基于 Azure 角色的访问控制(RBAC)策略之外,Azure HDInsight 还支持 Apache Ranger,用于对 Hive/Hbase 表、Spark 和 Map Reduce 任务、Kafka 主题等进行细粒度访问控制。

数据保护:使用 Azure HDInsight,客户使用 Azure 存储或 ADLS Gen1 和 Gen2 存储数据。客户可以利用这些存储的静态加密特性来保护他们的数据。客户可以选择是管理自己的加密密钥(在 Azure 密钥库中),还是让微软代他们管理。

HDInsight 确保所有移动中的数据都使用 TLS 加密。

InfoQ:Spark 已经接管了大数据应用场景,这是否表明 Hadoop 已过时?您可以就 Azure Databricks 和 Azure 上的 HDInsight/Spark 做下对比吗?

Chatterjee:虽然与 Apache Hadoop(特别是关于查询性能)相比,Apache Spark 确实有其优势,但我们看到,为了更好地满足其用户日益增长的需求,Hadoop 和 Spark 栈都在进化。

Azure Databricks 是一款高级 Spark 产品,非常适合希望他们的数据科学家能够轻松协作、以行业领先的性能高效运行基于 Spark 的工作负载的客

Azure HDInsight 将 Hadoop 和 Spark 统一管理,使企业能够使用相同的工具集来管理它们,比如,使用 Ambari、Apache Ranger 等。通过支持 Jupyter 和 Zeppelin 笔记本,它还提供了行业标准的笔记本体验。希望轻松管理所有大数据工作负载的企业可以选择使用 HDInsight。

InfoQ:您能谈一下数据从以前的版本向 HDInsight 4.0 迁移并推荐一些最佳实践吗?

Chatterjee:我们刚刚发布了基于 Apache Hadoop 3.0 的 Azure HDInsight 4.0 预览版。我们正在与早期的采用者一起研究数据和代码从 HDInsight 的以前版本迁移的最佳实践。在此之前,我们鼓励客户查看开源社区提供的文档。

InfoQ:除了继续与 Hortonworks 合作之外,您能否提供一个 HDInsight 4.0 之后的路线图以及与 Hadoop、Spark 和其他社区合作的计划?

Chatterjee:微软将继续积极地参与到更广泛的开源社区中,向包括 Apache Yarn 在内的多个项目做贡献,并在最流行的开发工具(如 Eclipse、IntelliJ、VSCode 等)中提供创新性的开发和诊断功能。此外,我们将继续跟踪数据领域中出现的场景和创新(如流媒体、深度学习、实时 BI 等),目标是为客户提供最安全、最具成本效益的解决方案。

关于 HDInsgiht 最新版本的更多技术细节,请听 Microsoft Ignite 大会演讲的录音

查看英文原文: Q&A with Microsoft's Arindam Chatterjee about Azure HDInsight 4.0

2018-10-25 09:481253
用户头像

发布了 1008 篇内容, 共 407.9 次阅读, 收获喜欢 346 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

一线互联网架构师筑基必备技能之Java篇,字节跳动Java研发面试题社招

Java 程序员 后端

万字长文轻松彻底入门spring,尚学堂java笔记,mybatis面试题常问

Java 程序员 后端

下血本买的!linux服务器搭建教程,阿里巴巴Java面试都问些什么

Java 程序员 后端

不服不行,黑马java教学多线程pdf,腾讯T3大牛总结

Java 程序员 后端

五面阿里拿下飞猪事业部offer,腾讯Redis压轴笔记

Java 程序员 后端

一起“干完”这份300页1000道面试题,牛客网论坛项目,Java后端开发路线图

Java 程序员 后端

中软国际Java面试,java基础入门传智播客课后答案,Java开发面试技巧

Java 程序员 后端

一键搞定Netty难关,看到NIO再也不犯糊涂了,原理解析

Java 程序员 后端

三年老Java经验面经,Java面试必备的集合源码详解

Java 程序员 后端

京东数科Java面试,尚学堂马士兵java视频教程下载,满满的干货

Java 程序员 后端

京东面试真题解析,程序员极客实验室,Java面试基本问题

Java 程序员 后端

什么会导致Java应用程序的CPU使用率飙升,高级Java开发技术

Java 程序员 后端

一起看看这些大厂面试真题查漏补缺吧,一份基于SSM框架实现了支付功能的完整源代码

Java 程序员 后端

万字详解微服务的哨兵机制,深入实践springboot下载

Java 程序员 后端

三面美团、四面阿里成功斩下offer,给Java程序员的一些面试建议

Java 程序员 后端

为什么StringBuilder是线程不安全的,Java高级工程师进阶学习

Java 程序员 后端

为什么StringBuilder是线程不安全的,Mybatis源码解析

Java 程序员 后端

互联网大厂面试必问的JVM底层原理,高级Java开发必看

Java 程序员 后端

一线大厂架构师都推荐的Java零基础大全,全网首发!

Java 程序员 后端

三面拼多多,Java最新面试题及答案

Java 程序员 后端

上海大厂Java面试经历:java开发面试视频教程,程序员工作2年月薪12K

Java 程序员 后端

五分钟搞懂MySQL主从复制原理,37岁程序员被裁

Java 程序员 后端

一起刷完了这份1307页的Java面试宝典吧,初级Java工程师面试题

Java 程序员 后端

万字长文轻松彻底入门spring,“金三银四”春招指南

Java 程序员 后端

三个月啃透888页Java王者级核心宝典,HTTP规范中的那些容易掉进去的坑

Java 程序员 后端

二本Java小菜鸟4面字节跳动被秒成渣渣,【Spring注解驱动开发

Java 程序员 后端

三分钟搞定分布式结构服务部署发布,这位阿里P7大佬分析总结的属实到位

Java 程序员 后端

东软集团Java面试题,尚硅谷佟刚个人资料,恶补这份“阿里面试宝典”

Java 程序员 后端

两年Java开发面试题,java教程视频马士兵,大厂Java面试真题精选

Java 程序员 后端

五年Java开发者小米、阿里面经,2021最新Java框架体系架构面试题

Java 程序员 后端

京东面试真题解析,泪目

Java 程序员 后端

微软Arindam Chatterjee访谈:Azure HDInsight 4.0_语言 & 开发_Rags Srinivas_InfoQ精选文章