写点什么

你的大数据项目使用的工具正确吗?

  • 2016-03-31
  • 本文字数:1185 字

    阅读完需:约 4 分钟

工具/产品/解决方案是数据科学家洞察数据的利器。 KDNuggets 网站对此观点进行了年度调查,来分析数据科学家在用哪些类型的工具,并提供了调查的匿名原始数据

通过主成分析(PCA)法进行降维分析

对所有的工具同时进行关系分析,常规来说,PCA 通过对大样本数据统计性质(eg, 协方差)的分析,试图用主要特征来解释关系。

分析结果:

当前分析的目标:通过一些主成分来分析 95 种工具之间的关系。最终决定以 PCA 的特征值来决定主成分的数目,这里选用了两种规则:一种是以特征值大于 1 的特征值数量来选择主成分数量;一种是画陡坡图(scree plot),通过 95 个特征值你会发现一个拐点的特征值。

特征点点陡坡图显示在第 13 和第 14 特征点时出现拐点,因此,这里选择的 13 个主成分来解释它们之间的关系,见下图。

(点击看大图)

工具分类

下面列出根据主成分析得出的 13 类工具(投票数大于 20):

  1. 大数据生态(Hadoop、Spark)和开源项目:Hadoop, HBase, Hive, Mahout, MLlib, Other Hadoop/HDFS-based tools, Pig, Scala, Spark, SQL on Hadoop tools
  2. 微软数据科学家工具:Microsoft Azure ML, Microsoft Power BI, Microsoft SQL Server, Revolution Analytics
  3. 基于 Python 的机器学习:Dataiku, H2O (0xdata), Python, scikit-learn, Theano, Vowpal Wabbit
  4. SAS 公司产品:JMP, SAS Base, SAS Enterprise Miner
  5. MATLAB、R 语言等统计工具:Gnu Octave, MATLAB, Orange, R, RapidMiner, Rattle, Weka
  6. IBM 公司产品:IBM Cognos, IBM SPSS Modeler, IBM SPSS Statistics, IBM Watson Analytics
  7. Linux 工具和 SQLang:Actian, C/C++, Perl, SQLang, Unix shell/awk/gawk
  8. 深度学习:Caffe, Pylearn2
  9. 商务智能软件:Pentaho and QlikView
  10. 数据分析平台:Datameer and Zementis
  11. Excel 和 Word 统计工具:XLSTAT for Excel
  12. 其它:Other Deep Learning tools, Other free analytics/data mining tools, Other Hadoop/HDF-based tools, Other paid analytics/data mining/data science software, Other programming languages
  13. 数据可视化:C4.5/C5.0/See5, Miner3D, Oracle Data Miner

总结

数据科学家在选择大数据、数据挖掘和数据分析工具时,更倾向于有一定生态基础的工具,这样各个工具间可以相互支持。

为了提高在大数据项目中成功的机会,选择正确的工具是非常重要的。没有一个孤立的工具能够做所有的数据分析,职业的数据专家趋向于使用不止一种相关的工具(分析中发现,数据专家平均使用 5 种数据分析工具)。你可以根据使用相关工具的数据专家来决定自己的选择。

另外一个观点是,要选择大厂的产品,比如,IBM、微软和 SAS,大品牌的产品更丰富,可以使得你的产品更容易扩展。


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-03-31 19:002648
用户头像

发布了 43 篇内容, 共 29.6 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

【LeetCode】将一维数组转变成二维数组Java题解

Albert

LeetCode 每日一题 1月月更

一个cpp协程库的前世今生(七)ctx的状态与标识位

SkyFire

c++ cocpp

武侯祠-创业团队

wood

创业 300天创作 武侯祠 三国

Spring 的 BeanFactory 和 FactoryBean 傻傻分不清?

CRMEB

WPF中的一个bug造成CPU资源拉满

喵叔

28天写作 1月月更

盘点 2021|鲜花怒马少年时,一日看尽长安花

AXYZdong

盘点 2021

01 Prometheus之监控基础知识

穿过生命散发芬芳

Prometheus 1月月更

模块八作业-消息队列表设计

Geek_cb2b43

[架构实战营]模块五

Vincent

「架构实战营」

基于MySQL消息队列存储方案设计

天天向上

架构实战营

2022 第一天,立 Flag

贾献华

Wechaty 李卓桓:我想要某种功能,你没有?那我来一个

OpenTEKr

开源 大话开源

产品规划:以终为始

石云升

产品规划 1月月更

通过 PXE 自动化安装 Ubuntu Server

hedzr

Ubuntu20.04 cloud-init pxe-server bash.sh

开源社林旅强:开源之于创新,有时无招胜有招

OpenTEKr

大话开源

一个cpp协程库的前世今生(六)管理器manager

SkyFire

c++ cocpp

如何在 Windows Server 上搭建 Git Repository Server?

吴脑的键客

git windows

盘点2021 | 本命年的自我救赎之路

打工人!

盘点 2021 1月月更

架构实战-模块八-作业

无名

「架构实战营」

模块八作业:设计消息队列存储消息数据的 MySQL 表格

dean

架构实战营

LabVIEW图像灰度测量(基础篇—7)

不脱发的程序猿

机器视觉 图像处理 LabVIEW 图像灰度测量 像素灰度

操作系统之进程管理、内存管理总结

yuexin_tech

内存 进程 操作性

yuye 个人介绍

努力努力再努力

Java 中间件

SkyWalking 吴晟:好的开源项目,要能解决真实且有共性的问题

OpenTEKr

大话开源

架构实战营 - 模块四

Geek_e6f7f6

架构训练营

IntelliJ IDEA激活码

Geek甜甜

第四周作业

lv

TAOS Data 陶建辉:一个开源项目要成功,最关键的是定位 | 大话开源Vol.12

OpenTEKr

大话开源

APISIX 温铭:开源的本质是要撬动开发者的杠杆 | 大话开源Vol.13

OpenTEKr

大话开源

从零打造WhatsApp

俞凡

架构 大厂实践 whatsapp

链游平台 Gacube Finance 登陆虎符Hoo Labs空投

区块链前沿News

Hoo 虎符交易所 GaCubeFinance

你的大数据项目使用的工具正确吗?_语言 & 开发_侠天_InfoQ精选文章