写点什么

大数据开发实验环境如何搭建?你可以这样做

  • 2020-04-02
  • 本文字数:982 字

    阅读完需:约 3 分钟

大数据开发实验环境如何搭建?你可以这样做

互联网时代的飞速发展,企业产生的数据也与日俱增,如何让这些复杂无序的数据产生价值,如何让企业轻松驾驭这些海量数据信息来创新、快速洞察商机,这是现今企业的迫切需求。传统数据的处理分析能力已经不能满足要求,大数据时代的到来解决了这迫在眉睫的需求。



图片来自视觉中国


作为个人想要实践学习大数据首先要有数据,现在获取数据已经非常容易了,各种赛事kaggle、AI challenge、DataCastle、天池以及一些公司和机构都提供了很多的数据集。其次就是平台。但是如何获取企业级的大数据存储和计算能力,在个人的PC或者是小企业的服务器上搭建虚拟机学习大数据,入门还可以,实践是远远不够的。


但是很多时候我们浪费太多时间在实验环境搭建上。网上下载一些软件包因为版本更新或其他原因,很快很多软件包就不适用了;而且遇到一些环境问题因为版本和环境差别很大,可能只是很小的问题,但很难搜得到解决方法。这次就为大家带来一个比较契合个人做实操的云实验平台。



图片来自视觉中国


2017 年 7 月华为云上线,不到一年的时间,已经上线 14 大类 99 款云服务,50+解决方案。其中最引人关注的当属 EI 大数据的 MapReduce 服务(MapReduce Service)。


华为云 MRS 服务源于开源,所以对于开发者而言完全可以无缝对接。数据处理组件方面将开源组建 Hadoop、Spark、HBase、Kafka、Storm 等加强并封装到 MRS 服务中,打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量的数据存储和分析能力,可解决企业级的数据存储和处理需求。用户可以独立申请和使用托管 Hadoop、Spark、HBase 和 Hive 组件,用于快速在主机上创建集群,提供海量数据的实时性要求不高的批量数据存储和计算能力。


MRS 使用简单,用户只需十五分钟就可以启动 MRS 集群,不必花时间关注节点调配、集群配置和集群调试。MRS 会自动处理这些任务,用户只需集中精力分析。提供 SQL 和 OpenAPI 等多种易用接口,大幅度降低开发人员编程难度。当数据完成存储和计算,可终止集群服务,集群终止后不再产生费用。当然,您也可以选择长期运行集群。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/ATqIb-ZcsvBLTBZZ5hQaKg


2020-04-02 14:39932

评论

发布
暂无评论
发现更多内容

ONES 与极狐(GitLab)战略合作,强强联手推动 DevOps 发展

万事ONES

DevOps SaaS ONES #GitLab

数仓和数据中台长期霸权,数据湖最稳

用友BIP

数据胡

面试腾讯:渗透测试工程师题型汇总

喀拉峻

面试 网络安全 安全 渗透测试

编曲时如何在FL Studio卷帘窗口修改单个音符音量

懒得勤快

低代码发展正当时,中国将取代美国成为低代码开发的全球领导者

金小K

RPA 低代码 低代码开发 低代码平台

【Promise 源码学习】第十篇 - Promise.prototype.catch 和 Promise.prototype.finally 的实现

Brave

源码 Promise 12月日更

高可用 | repmgr 构建 PostgreSQL 高可用集群部署文档【建议收藏】

RadonDB

数据库 postgresql RadonDB

在 Windows 笔记本上调试运行在 iOS 设备上的前端应用

汪子熙

大前端 web api iOS Developer 28天写作 12月日更

小企业如何落地elk日志收集系统

小鲍侃java

内容合集 签约计划第二季

在有道 | 同宇:一个正在老去的程序员

有道技术团队

程序员 技术人 工程师思维 人物访谈

VirtualBox 网络配置 NAT + Host-Only

李鑫磊

Kubernetes 虚拟机 网络配置 virtualbox

质量服务“一站式”平台搭建,NQI一站式云服务平台

电微13828808271

elk简介与背景

小鲍侃java

签约计划第二季

大型前端项目 DevOps 沉思录 —— CI 篇d

CODING DevOps

ci DevOps 持续集成 工作流

【11月】InfoQ写作平台荣耀月报:名单出炉!

InfoQ写作社区官方

话题讨论 热门活动

数据库自增 ID 用完了会咋样?

CRMEB

Linux一学就会之Centos-文件权限管理

学神来啦

云计算 Linux centos linux运维

Istio 实践手册 |服务网格框架对比

xcbeyond

istio 28天写作 12月日更 Istio 实践手册

基于云的技术架构设计实践-第2篇

hackstoic

监控系统 签约计划第二季

实用机器学习笔记二:数据获取

打工人!

机器学习 学习笔记 12月日更 实用机器学习

数据中台的OneID是个什么鬼

用友BIP

数据中台 主数据

安全RCE之未授权访问分析

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

在 ABAP 里模拟实现 Java Spring 的依赖注入

汪子熙

Java 28天写作 SAP abap 12月日更

云编辑 | 使用 Cloud Studio 在线撰写预览并发布 Hugo 博客

宋天伦

CloudIDE Hugo Cloud Studio

EasyRecovery如何恢复游戏——英雄联盟

淋雨

数据恢复 EasyRecovery

在Linux系统发行版(以CentOS7为例)上部署ElasticSearch集群并启动Kibana和Logstash

为自己带盐

Centos 7 28天写作 Elastic Search 签约计划第二季 12月日更

logback获取bootstrap.yml配置

小鲍侃java

签约计划第二季

荣耀周榜公布!你上榜了么?2022.1.17-1.23

InfoQ写作社区官方

话题讨论 热门活动

一个基于HTML的可定制轮盘——帮你告别选择困难症

海拥(haiyong.site)

html 大前端 28天写作 签约计划第二季 12月日更

自定义View:使用二阶贝塞尔曲线绘制正弦函数

Changing Lin

12月日更

🏆【Alibaba中间件技术系列】「RocketMQ技术专题」让我们一起实践RocketMQ的服务搭建及配置操作

码界西柚

消息队列 Apache RocketMQ 12月日更

大数据开发实验环境如何搭建?你可以这样做_大数据_华为云产品与解决方案_InfoQ精选文章