深耕换来突破，大数据 MapReduce 最新版本出炉，尝鲜！

经过数十位技术工程师，以及本小编的辛苦劳作，MapReduce 服务重磅推出新版本 1.8.1，无论是在集群安全性、易用性、灵活性，还是在组件的功能性都变得更加强大！下面由小编来简单地对比一下：

MapReduce 服务不愧是华为云重点打造的服务，它基于华为历经行业数万节点成功使用经验，在云上打造的企业级 Hadoop 大数据平台服务。一键部署、灵活弹性伸缩，包含了 Hadoop、Spark、HBase、Kafka、Storm、Hive 等丰富内核组件，帮助用户在云上轻松完成高可靠、高安全、低成本、一站式大数据平台的搭建。

读到这里是不是很想知道 MRS1.8.1 到底有什么详细的更新呢？且听小编一一道来。

MRS 专属大数据服务

在金融、公安、政府等项目中，由于数据的敏感性，对大数据的存储、清洗、处理过程中需要更高的隔离性与安全。因此，需要建立一个隔离度高、满足企业自身行业更强监管的专属云服务。

业务上云痛点铁三角

专属云服务（Dedicated Cloud）是在公有云上隔离出来的专属计算和存储资源池，租户可以在其中申请专用物理服务器来构建自己的计算和存储资源池，并使用高度可靠的隔离网络。专属云用户部署的云主机（ECS）和物理机（BMS）将分布在用户自己的专属资源池中，并且可在管理控制台管理资源，查看计算资源使用情况，就像私有云一样灵活使用专属云。

专属云服务客户价值

专属云大数据是将大数据集群服务与专属云服务进行结合的一种综合性服务，在专属云内用户独占物理设备、独享计算和存储资源，使用专属云内的资源搭建大数据服务。

基于弹性 IP 的集群快捷访问通道

虚拟私有云(vpc)为 MRS 集群上的弹性云服务器构建了隔离的虚拟网络环境，用户无法直接使用本机的浏览器访问 MRS Manager， MRS 服务提供了弹性公网 IP 功能，可以通过固定的公网 IP 地址与互联网互通，并且比用户自绑弹性公网 IP 更便捷，功能更全面。

• 便捷

• 访问 MRS Manager 步骤减少至 2 步，简化添加安全组规则，获取公网 IP 等步骤，便捷性提升四倍以上，用户用起来更方便。

• 功能更全面

• MRS 绑定的弹性公网 IP 的特性为用户提供的六大功能，如下图所示，不仅能够针对性的解决用户的痛点，也把用户体验提至最佳。

Kafka 升级到 1.1.0 版本

Kafka 是一个使用广泛的分布式消息队列，MRS 在 1.8.1 版本中 Kafka 升级到了 1.1.0，主要有以下几个特性的更新：

关于存储的一些优化。对于 Kafka 集群来说存储太昂贵并且容错性不高，最好的办法应该是使用 JBOD，并且设置 replication factor 为 4，与 RAID-10 比较，冗余度没变，提高了系统可用性。此优化针对 JBOD，允许 Broker 下的单个磁盘故障后 Broker 依然可以运行，提供在单个 Broker 内和多个 Broker 之间的多个磁盘之间的数据移动。

部分配置可以做到不用重启进程即可动态更新。

Kafka Streams API 的优化。Kafka Streams 是 Apache Kafka 从 0.10 版本引入的一个新特性，它提供了对存储于 Kafka 内的数据进行流式处理和分析的功能，它是一个客户端类库，相比 Storm、Flink 等流式处理框架，易于开发和理解，编程简单。

支持基于 delegation token 的认证，可以在不给 Kerberos 过大的压力的情况下支持更多的客户端。

Kafka 从 1.x 版本开始，开始朝着从以分布式消息队列为己任到分布式消息队列和流处理平台方向发力。MRS 作为一站式的大数据处理平台，快速更新 Kafka 版本，结合华为 c3ne 规格的虚拟机，利用其超大的网络带宽，可以充分发挥 Kafka 的性能。

Storm 升级到 1.2.1 版本

Storm 是一个分布式实时大数据处理系统。Storm 设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。MRS 在 1.8.1 版本中 Storm 升级到了 1.2.1，这是一个常规维护版本，其中包含许多重要的错误修复，可以提高 Storm 的性能，稳定性和容错能力。

MRS 资源锁特性

MRS 资源锁通过对大数据集群中的 ECS、EVS 等资源进行加锁，在集群使用期间，防止用户在 ECS 页面的误操作而产生可能影响集群功能的后果，比如删除虚拟机、重装操作系统、切换操作系统、变更虚拟机规格等，来保证我们大数据集群的稳定可靠运行。

MRS 资源锁默默地为您保驾护航，用户不需要做任何额外操作。当我们创建大数据集群时，MRS 资源锁就会相应加上；当我们终止大数据集群时，MRS 资源锁就会相应释放。

弹性伸缩增强：资源计划

在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS 的弹性伸缩功能已经支持根据集群负载对集群进行弹性伸缩。此外，如果数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，MRS 新特性资源计划将派上用场。

资源计划也可以理解为定时弹性伸缩，可以单独使用，也可以与按负载弹性伸缩叠加使用。

弹性伸缩增强：自动化脚本

对于弹性伸缩来说，一些特定的业务场景，可以自动化实现根据节点数量的变化对资源分配或业务逻辑进行更改。

MRS 支持的自定义弹性伸缩自动化脚本的解决方案，预定义了一些与扩缩容的类型、节点数等相关几个参数，包括扩缩容节点数、扩缩容类型、节点 ip，触发规则名。

客户可以将自动化脚本存储在 MRS 集群虚拟机或 OBS 上，也可以传递自定义参数（多个参数中间用空格隔开），直接填写在参数配置框中传递给脚本。

自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。

通过上述的介绍，相信大家已经大致了解 MRS 新版本带来的新特性。为了让大家能第一时间体验到新特性，MRS 服务再发福利，免费为个人赠送包月的大数据分析集群套餐，不花一分钱就能体验云上的 MRS 大数据平台。

本文转载自 华为云产品与解决方案 公众号。

原文链接：https://mp.weixin.qq.com/s/LD-hj9yjv1kmcCvlRJOj4g