写点什么

大数据开发实验环境如何搭建?你可以这样做

  • 2020-04-02
  • 本文字数:982 字

    阅读完需:约 3 分钟

大数据开发实验环境如何搭建?你可以这样做

互联网时代的飞速发展,企业产生的数据也与日俱增,如何让这些复杂无序的数据产生价值,如何让企业轻松驾驭这些海量数据信息来创新、快速洞察商机,这是现今企业的迫切需求。传统数据的处理分析能力已经不能满足要求,大数据时代的到来解决了这迫在眉睫的需求。



图片来自视觉中国


作为个人想要实践学习大数据首先要有数据,现在获取数据已经非常容易了,各种赛事kaggle、AI challenge、DataCastle、天池以及一些公司和机构都提供了很多的数据集。其次就是平台。但是如何获取企业级的大数据存储和计算能力,在个人的PC或者是小企业的服务器上搭建虚拟机学习大数据,入门还可以,实践是远远不够的。


但是很多时候我们浪费太多时间在实验环境搭建上。网上下载一些软件包因为版本更新或其他原因,很快很多软件包就不适用了;而且遇到一些环境问题因为版本和环境差别很大,可能只是很小的问题,但很难搜得到解决方法。这次就为大家带来一个比较契合个人做实操的云实验平台。



图片来自视觉中国


2017 年 7 月华为云上线,不到一年的时间,已经上线 14 大类 99 款云服务,50+解决方案。其中最引人关注的当属 EI 大数据的 MapReduce 服务(MapReduce Service)。


华为云 MRS 服务源于开源,所以对于开发者而言完全可以无缝对接。数据处理组件方面将开源组建 Hadoop、Spark、HBase、Kafka、Storm 等加强并封装到 MRS 服务中,打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量的数据存储和分析能力,可解决企业级的数据存储和处理需求。用户可以独立申请和使用托管 Hadoop、Spark、HBase 和 Hive 组件,用于快速在主机上创建集群,提供海量数据的实时性要求不高的批量数据存储和计算能力。


MRS 使用简单,用户只需十五分钟就可以启动 MRS 集群,不必花时间关注节点调配、集群配置和集群调试。MRS 会自动处理这些任务,用户只需集中精力分析。提供 SQL 和 OpenAPI 等多种易用接口,大幅度降低开发人员编程难度。当数据完成存储和计算,可终止集群服务,集群终止后不再产生费用。当然,您也可以选择长期运行集群。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/ATqIb-ZcsvBLTBZZ5hQaKg


2020-04-02 14:39855

评论

发布
暂无评论
发现更多内容

就在明天!用友企业数智化财务峰会落地广州,聚焦实现业财合一新价值

用友BIP

解决90%面试问题!GitHub顶级"Java面试手册"了解下八股文天花板

三十而立

Java java面试

任务卷轴模式系统开发NFT技术

薇電13242772558

系统

从GPT-4、文心一言再到Copilot,AIGC卷出新赛道?

引迈信息

微软 AIGC 文心一言 GPT-4

永洪BI、瓴羊Quick BI领衔国产BI工具

巷子

MobTech|如何选择应用内广告SDK产品

MobTech袤博科技

华为昇思MindSpore开源社区三周年生日会,三大亮点不容错过!

Geek_2d6073

币安/欧意合约自动跟单软件开发源代码

开发v-hkkf5566

质量内建落地的四要素

老张

质量保障 质量内建 交付质量

数据库领域3月大事件

NineData

数据库 云计算

两项大奖加持,浩鲸科技福利小店-WHALE SELECT

鲸品堂

福利 平台 平台搭建 企业号 3 月 PK 榜

游戏版《西部世界》来了!NPC全由AI操控,行动自如有理想和记忆,基于最新GAEA技术系统打造

Openlab_cosmoplat

AI 游戏 开源社区

ShareSDK iOS端如何实现微信分享链接与登录

MobTech袤博科技

面试造火箭?GitHub飙升“2023(Java 岗)面试真题汇总”转载40万

三十而立

Java java面试

百度安全助力小度智能屏通过中国泰尔实验室适老化技术测试认定

百度安全

智能硬件

阿里云高级技术专家林立翔:基于阿里云弹性GPU服务的神龙AI加速引擎,无缝提升AI训练性能

云布道师

阿里云 AI

ADDS-DepthNet:基于域分离的全天图像自监督单目深度估计

飞桨PaddlePaddle

GPT-4写代码能力提升21%!MIT新方法让LLM学会反思,网友:和人类的思考方式一样

Openlab_cosmoplat

机器学习 开源社区 智能 ChatGPT GPT-4

软件测试/测试开发丨在Docker 上搭建持续集成平台 Jenkins

测试人

软件测试 自动化测试 测试开发

低代码开发:助力企业高效实现数字转型的一大利器

加入高科技仿生人

大数据 低代码 数字化 数字转型

百图生科AIGP平台发布:提供多种蛋白质生成能力,邀伙伴联手开发“新物种”

硬科技星球

git客户端软件:Sublime Merge 激活版

真大的脸盆

Mac Mac 软件 Git客户端

中康科技黄毅宁:AI+医疗,于我而言是圆梦

飞桨PaddlePaddle

智慧公厕:未来城市的必备设施

光明源智慧厕所

物联网 智慧城市

TitanIDE:云原生开发到底强在哪里?

行云创新

ide 云原生 云开发

黄牛党“屯购”OPPO Find X6 无感验证护航官方商城安全

Geek_2d6073

山东大学-飞桨人工智能教育创新中心正式挂牌,打造区域产教融合新范式

飞桨PaddlePaddle

关于 MyBatis 我总结了 10 种通用的写法

三十而立

Java mybatis

模型驱动软件开发 打造企业数字化未来

力软低代码开发平台

如何高效搭建资产管理平台?众安科技告诉你答案是图技术

NebulaGraph

图数据库

大数据开发实验环境如何搭建?你可以这样做_大数据_华为云产品与解决方案_InfoQ精选文章