AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

微软 Arindam Chatterjee 访谈:Azure HDInsight 4.0

  • 2018-10-25
  • 本文字数:2351 字

    阅读完需:约 8 分钟

Azure HDInsight 4.0 以 Apache Hadoop 3.1 为基础,其公开预览版最近在 Azure 上发布。其主要更新包括:

  • Apache Hive 3.0 LLAP(在 HDInsight 中称为交互式查询的低延迟分析处理),改进了快速查询和事务。
  • 具有可更新表的 Apache Spark 和使用 Hive Warehouse 连接器的 ACID 事务。
  • Apache HBase 2.0 及 Apache Phoenix 5.0 性能和稳定性特性。

Azure HDInsight 是一个基于 Apache Hadoop、Spark 和 Kafka 的服务提供服务,用于大数据处理和分析。它以 Apache Hadoop 3.1 和 hortonworks 数据平台(HDP)3.0 为基础,几乎所有的组件都进行了更新。

InfoQ 联系了微软首席主群经理 Arindam Chatterjee ,了解微软 Ignite 大会上发布的关于 HDInsight 的消息。

他介绍了托管服务相对于传统的基础设施即服务的优势、可以创建的不同类型的集群(Apache Hadoop、Spark、Kafka、Storm 等)以及如何根据实际需求定制。他讨论了基于活动目录集成的企业安全特性、数据迁移到集群的最新版本以及能够创建支持 Jupyter 和 Zepplin 笔记本的 Spark 集群。最后,他谈到了如何将社区工作整合到产品路线图中。

InfoQ:HDInsight 捆绑了 Hortonworks HDP 版本,是吗?除了“PaaS 与 IaaS”方法的典型优势之外,HDInsight 还提供了什么?

Chatterjee:Azure HDInsight 确实提供了来自 Hortonworks 的 HDP,然后对其进行了优化,使其能够在 Azure 中对 Azure 存储、Azure 数据湖存储(ADLS) Gen1 和 Gen2 等远程存储进行操作。HDInsight 是一个“托管平台”,对于内部部署或 IaaS 部署,客户可以获得他们期望的全部控制权和可扩展性,同时仍然可以从高可用性 SLA、24x7 监控以及与他们希望从 PaaS 服务获得其他 Azure 服务的深度集成中获益。

InfoQ:尽管 HDInsight 采用了更多的 PaaS 方法,但是定制每个安装容易吗?

Chatterjee:有几种方法可以定制 Azure HDInsight 集群。首先,HDInsight 允许客户通过 ssh 接入 HDI 集群,并根据他们的需求定制它,例如,通过安装自己的工具、微调配置设置等。其次,HDInsight 还允许客户在准备集群时运行自定义脚本(又名 ScriptAction),实现按需定制。

最后,客户可以在 Azure Marketplace 上选择 Hadoop/Spark 社区中最流行的 30 个应用程序中的任何一个,并将其安装到它们的集群中。这些应用程序针对大数据应用程序的所有方面都提供了独特的解决方案,包括数据摄取、机器学习、可视化、数据编排和治理等。

InfoQ: 从金融到医疗,在许多涉及大数据的垂直领域里,企业安全都是一个很大的需求。HDInsight 在这个领域提供了什么?

Chatterjee:Azure HDInsight 中的企业安全旨在提供全面的深度防御。

网络隔离:客户可以在 VNet(虚拟网络)中隔离他们的 HDInsight 集群,并配置 NSG 规则,以确保只有经过批准的用户 / 设备才能访问集群。此外,它们可以使用服务端点安全来限制对包含最敏感数据的数据存储的访问。

身份验证:与所有 Azure 服务一样,Azure HDInsight 集成了 Azure 活动目录(AAD),用于对所有的管理门户或功能访问进行身份验证。要访问实际的 HDI 集群,HDInsight 支持通过活动目录域服务(ADDS)进行 Kerberos 身份验证。这些特性使企业用户能够使用企业域凭证登录 HDI 集群。

授权:对于对所有的管理门户 / 操作,除了要严格执行标准的基于 Azure 角色的访问控制(RBAC)策略之外,Azure HDInsight 还支持 Apache Ranger,用于对 Hive/Hbase 表、Spark 和 Map Reduce 任务、Kafka 主题等进行细粒度访问控制。

数据保护:使用 Azure HDInsight,客户使用 Azure 存储或 ADLS Gen1 和 Gen2 存储数据。客户可以利用这些存储的静态加密特性来保护他们的数据。客户可以选择是管理自己的加密密钥(在 Azure 密钥库中),还是让微软代他们管理。

HDInsight 确保所有移动中的数据都使用 TLS 加密。

InfoQ:Spark 已经接管了大数据应用场景,这是否表明 Hadoop 已过时?您可以就 Azure Databricks 和 Azure 上的 HDInsight/Spark 做下对比吗?

Chatterjee:虽然与 Apache Hadoop(特别是关于查询性能)相比,Apache Spark 确实有其优势,但我们看到,为了更好地满足其用户日益增长的需求,Hadoop 和 Spark 栈都在进化。

Azure Databricks 是一款高级 Spark 产品,非常适合希望他们的数据科学家能够轻松协作、以行业领先的性能高效运行基于 Spark 的工作负载的客

Azure HDInsight 将 Hadoop 和 Spark 统一管理,使企业能够使用相同的工具集来管理它们,比如,使用 Ambari、Apache Ranger 等。通过支持 Jupyter 和 Zeppelin 笔记本,它还提供了行业标准的笔记本体验。希望轻松管理所有大数据工作负载的企业可以选择使用 HDInsight。

InfoQ:您能谈一下数据从以前的版本向 HDInsight 4.0 迁移并推荐一些最佳实践吗?

Chatterjee:我们刚刚发布了基于 Apache Hadoop 3.0 的 Azure HDInsight 4.0 预览版。我们正在与早期的采用者一起研究数据和代码从 HDInsight 的以前版本迁移的最佳实践。在此之前,我们鼓励客户查看开源社区提供的文档。

InfoQ:除了继续与 Hortonworks 合作之外,您能否提供一个 HDInsight 4.0 之后的路线图以及与 Hadoop、Spark 和其他社区合作的计划?

Chatterjee:微软将继续积极地参与到更广泛的开源社区中,向包括 Apache Yarn 在内的多个项目做贡献,并在最流行的开发工具(如 Eclipse、IntelliJ、VSCode 等)中提供创新性的开发和诊断功能。此外,我们将继续跟踪数据领域中出现的场景和创新(如流媒体、深度学习、实时 BI 等),目标是为客户提供最安全、最具成本效益的解决方案。

关于 HDInsgiht 最新版本的更多技术细节,请听 Microsoft Ignite 大会演讲的录音

查看英文原文: Q&A with Microsoft's Arindam Chatterjee about Azure HDInsight 4.0

2018-10-25 09:481285
用户头像

发布了 1008 篇内容, 共 411.3 次阅读, 收获喜欢 346 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

优秀奖及决赛阵容震撼公布 第二届OpenHarmony创新应用挑战赛决战在即

科技热闻

Jenkins质量门禁设计方案的深入探讨

测试人

软件测试

NFTScan | 01.06~01.12 NFT 市场热点汇总

NFT Research

NFT NFT\ NFTScan #Web3

My Metronome for Mac(音乐节拍器软件)v1.4.1激活版

小玖_苹果Mac软件

Univer Go 推出 AI 辅助编写 Univer API 功能

梦数技术团队

JavaScript 开源 Excel 表格 spreadsheet

一文详解 Astherus “Stage 1: Spectra”,开启 DeFi 收益之门

股市老人

【连载 11】Phaser 类

FunTester

《CPython Internals》阅读笔记:p118-p150

codists

CPython Internals

懒猫微服移植 drawDB 应用

玄兴梦影

NAS 移植应用 懒猫微服应用移植 drawDB 懒猫微服

【翻译】不止Cursor,2024年AI代码工具终极指南,AI辅助编程工具聚会了——慢慢学AI143

AI决策者洞察

#人工智能 Prompt

覆铜板MES系统解决方案

万界星空科技

制造业 mes 万界星空科技mes 覆膜板行业 覆膜板mes

Python库房管理系统开发指南

不在线第一只蜗牛

Python

如何玩转TikTok直播?掌握这些关键要点

Ogcloud

TikTok 直播专线 tiktok直播 tiktok直播专线 tiktok直播网络

比克动力李凤梅:中国在供应链端优势明显

科技热闻

前沿洞察:低代码赋能企业数字化转型,解锁打造敏捷组织的底层逻辑

不在线第一只蜗牛

低代码

2025 年以太坊和 Polkadot 生态中有哪些关键进展值得关注?

TechubNews

区块链 以太坊 web3 #Web3 加密市场

为什么说预测市场AI Agent项目 Aegis ,将会超越 axibt 的高度?

股市老人

深度解读英伟达最新世界基础模型Cosmos:用AI数据训练AI算法,彻底闭环了?

Zilliz

AI 英伟达 Cosmos 合成数据 世界基础模型

七牛云荣获 InfoQ 极客传媒「2024 年度技术生态构建品牌」

七牛云

数据服务 | 某造纸企业管理会计PDCA体系的敏捷经营和精准决策

用友智能财务

运维‘ 经营分析 会计

什么样的海外直播网络能满足做海外直播要求?

Ogcloud

海外直播专线 海外直播 直播专线 tiktok直播专线 海外直播网络

Nginx 可观测性最佳实践

观测云

nginx

Kokoro,一个 82M 参数的超强 TTS 模型;美团、字节领投 3D 生成大模型影眸科技丨 RTE 开发者日报

声网

快速上手 INFINI Console 的 TopN 指标功能

极限实验室

INFINI Console TopN

微软Arindam Chatterjee访谈:Azure HDInsight 4.0_语言 & 开发_Rags Srinivas_InfoQ精选文章