HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

问答 Datameer 公司 Andrew Brust:大数据在人工智能技术中扮演的角色

  • 2017-08-06
  • 本文字数:1785 字

    阅读完需:约 6 分钟

Datameer 最近发布的 SmartAI 可将大数据与机器学习模型结合在一起提供更深入的数据见解。

SmartAI 意在通过大数据实现人工智能,例如针对大规模的大数据运行人工智能算法,帮助企业中的分析师将人工智能模型融入分析工作流程,以安全合规的方式完成自己的工作。

InfoQ 与 Datameer 公司市场战略和智能部门资深总监 Andrew Brust 一起探讨了大数据在人工智能领域,尤其是 SmartAI 中所扮演的角色。

InfoQ:Datameer 原本一直在大数据领域耕耘,为何如今转战人工智能?大数据过时了吗?

Andrew Brust:Datameer 在大数据领域依然十分专注。实际上,SmartAI 的目的就在于将人工智能与大数据分析工作流程相互融合。对大部分企业来说,面对人工智能技术,最大的障碍依然在于大数据、商业智能,以及其他分析工具和技术之间严重的隔阂。我们希望通过 SmartAI 解决这个问题,将人工智能带入主流分析工作,驾驭人工智能的强大威力。

InfoQ:您觉得大数据和人工智能间的关系是怎样的?SmartAI 如何发挥该特性?

Brust:大数据和人工智能之间有着极强的协同增效关系,然而这个特点尚未得到业界的足够重视。对于 SmartAI,Datameer 意在将两个世界彻底打通。使用机器学习模型对数据计分,原本这主要是一种即席(Ad Hoc)的过程,大部分时候是在数据科学家的工作站上进行的。但计分操作其实也可以针对规模更大的大数据平台,以自动化的方式在 Hadoop 集群的所有节点上进行。这恰恰是我们目前的努力目标。

InfoQ:机器学习需要进行大量的数据准备和操作过程,从广义上来看,这是否可以发挥 Hadoop 的优势,尤其是,能否发挥贵公司的优势?

Brust:没错,数据准备也是我们的重要方向之一,同时也是大数据技术以及人工智能技术的重要一环。如果要实现人工智能,必须首先选择一种算法并训练模型。训练模型所用的数据必须足够“干净”,通过筛选仅包含最基本的输入(特征)列,并在恰当层面上进行汇总。数据的准备过程必须完成上述所有操作。因此也需要针对原始数据中所呈现的值进行复杂计算,得到基于列的数据。Datameer 可以使用 Hadoop 做到所有这一切,并且效果很不错。因此在我们的产品中增加人工智能的相关能力就成了一种很自然的做法。

InfoQ:您所说的人工智能的“运维化”是指什么?能否从广义上,以及 SmartAI 的角度深入介绍一下相关技术细节?

Brust:正如之前所说,原本,数据计分操作是一种纯手工,量身定制的过程,需要由数据科学家在自己的工作站上进行。这一过程的输出结果对业务非常有用。然而这种方式并未在企业中形成标准,更多的只是一种手工点击按钮运行某些重要计算过程的做法。

计分过程需要自动化,需要管理,需要监视,需要在更大尺度下运行。此外还需要实现运维化。至今我们依然没有做到这一切,听起来似乎有些荒谬,但大部分情况下实际情况确实如此。通过使用 SmartAI,计分操作可以实现运维化,该产品可集成在与近年来流行的大数据分析技术相同的数据流程引擎和管理平台中。

这种方式塑造了一些全新用例,例如每天或每小时针对大数据运行流失分析模型,同时还可以完全遵守针对此类分析所设立的各种合规策略。

InfoQ:在深度学习的范围内,SmartAI 能否同时解决训练和推断有关的问题?还是主要解决了与分析有关的问题?

Brust:Datameer 并不涉及实际的训练过程,数据科学家依然需要使用自己惯用的开发环境、语言、工具,和 / 或命令行接口训练自己的模型。

模型训练完成后,即可导入 Datameer 并且可供调用,我们的库中还额外提供了超过 270 种电子表格函数。借此即可将人工智能嵌入到安全、受管控、可调度的数据流程中,将本就很强大的分析能力与人工智能结合在一起,发挥出更大威力。

InfoQ:最后,为何要选择 TensorFlow?该产品的未来规划中是否考虑过解决人工智能领域的其他问题?

Brust:目前 TensorFlow 很流行,很受关注,整个生态的发展非常良好,因此我们也选择了这个技术。人工智能领域的创新速度很快,我们都知道还有其他很多开源的深度学习框架,其中每一个都有可能迎来更大的发展势头。因此我们会密切关注整个行业,及时掌握最新变化,我们针对 TensorFlow 所采取的结构化的方法也可以用于其他库,不过目前来说,对于将 SmartAI 以及 TensorFlow 集成在 Datameer 产品中的决定,我们觉得是非常妥善的。

Datameer SmartAI 很快即将发布技术预览版。

阅读英文原文 Q&A with Andrew Brust of Datameer Regarding Big Data’s Role in AI

2017-08-06 19:001329
用户头像

发布了 283 篇内容, 共 106.6 次阅读, 收获喜欢 62 次。

关注

评论

发布
暂无评论
发现更多内容

Android mvvm 之 LiveData 的原理,如何保证高可用

android 程序员 移动开发

Android 关于CPU类型的so文件兼容问题(ABI),十年Android编程开发生涯

android 程序员 移动开发

Android AutoService 组件化,android完整项目源码

android 程序员 移动开发

Android Gradle 常用配置,androidsdk环境配置

android 程序员 移动开发

Android MVP模式深入实践探索(一),移动开发工程师简历

android 程序员 移动开发

Android P 网络请求相关总结,flutter二维码扫描插件

android 程序员 移动开发

Android Studio自定义模板实现一键创建MVP结构,已拿到offer

android 程序员 移动开发

Android AOSP 6,flutter面试题

android 程序员 移动开发

Android BLE基础框架全新改版,android音视频开发面试题

android 程序员 移动开发

Android WebView常见问题,androidim开发

android 程序员 移动开发

Android JPEG 压缩那些事,深入解析Android-AutoLayout

android 程序员 移动开发

Android Studio 3,2021Android面试真题精选干货整理

android 程序员 移动开发

Android Gradle 学习笔记整理,阿里Android面试必问

android 程序员 移动开发

Android Handler源码浅析,一线互联网架构师筑基必备技能之Android篇

android 程序员 移动开发

Android jetpack最佳总结和实践,安卓面试题宝典app

android 程序员 移动开发

OpenSearch 文档中文本地化

HoneyMoose

Android Protobuf应用及原理,android输入法开发软键盘切换

android 程序员 移动开发

Android 10手势导航的侧滑返回效果优化策略,2021最新Android大厂面试真题大全

android 程序员 移动开发

Android 9,flutter安装教程2019

android 程序员 移动开发

OpenSearch 文档如何部署到 GitHub Page 中

HoneyMoose

Android Manifest功能与权限描述大全,阿里大牛整理

android 程序员 移动开发

Android NDK 开发之 CMake 必知必会,程序员必须要了解的知识点

android 程序员 移动开发

android webview与js交互(动态添加js),【好文推荐

android 程序员 移动开发

Android WebView独立进程解决方案,手撕面试官

android 程序员 移动开发

Android 使用 Kotlin 重写 Gradle 文件,kotlin教程

android 程序员 移动开发

Android 11 中的存储机制更新,android项目开发实战入门光盘文件

android 程序员 移动开发

Android Gradle 干货,sharedpreferences跨进程

android 程序员 移动开发

Android ViewPager2 & TabLayout,那些被大厂优化的程序员们

android 程序员 移动开发

Android WebView独立进程解决方案(1),flutter推送通知

android 程序员 移动开发

Android 11适配指南之系统相机拍照、打开相册,Android开发两年

android 程序员 移动开发

Android Matrix矩阵,一个Android程序员的面试心得

android 程序员 移动开发

问答Datameer公司Andrew Brust:大数据在人工智能技术中扮演的角色_大数据_Rags Srinivas_InfoQ精选文章